A OpenAI deu um passo significativo no sentido de fortalecer a robustez dos seus sistemas de IA ao introduzir a OpenAI Red Teaming Network. Esta rede é composta por um grupo cuidadosamente selecionado de especialistas encarregados de orientar as estratégias da empresa para avaliar e mitigar os riscos associados aos modelos de IA.
A formação de equipes vermelhas tornou-se um componente essencial no desenvolvimento de modelos de IA, especialmente à medida que as tecnologias generativas continuam a ganhar amplo reconhecimento. Desempenha um papel fundamental na identificação de preconceitos em modelos, como o DALL-E 2 da OpenAI, que é conhecido por amplificar estereótipos relacionados com raça e género. Além disso, ajuda a identificar prompts problemáticos que modelos de geração de texto, incluindo aqueles como ChatGPT e GPT-4, podem não conseguir resolver por meio de filtros de segurança.
Embora a OpenAI já tenha contratado especialistas externos por meio de programas como o programa de recompensas por bugs e de acesso a pesquisadores, o lançamento da Red Teaming Network formaliza e expande esses esforços. O objetivo da rede, conforme descrito em uma postagem no blog da OpenAI, é aprofundar e ampliar as colaborações da empresa com cientistas, instituições de pesquisa e organizações da sociedade civil.
A OpenAI vê esta iniciativa como um complemento às práticas de governança externa, como auditorias de terceiros. Os membros da Red Teaming Network, com base na sua experiência, serão convidados a participar em atividades de red teaming em diferentes fases de desenvolvimento de modelos e produtos.
Além das campanhas comissionadas de red teaming lideradas pela OpenAI, os membros da rede terão a oportunidade de compartilhar insights e melhores práticas entre si em relação ao red teaming. A OpenAI esclarece que nem todos os membros estarão envolvidos em todos os novos modelos ou produtos, e os compromissos de tempo individuais, que podem variar de 5 a 10 dias por ano, serão determinados individualmente.
A OpenAI está convidando um grupo diversificado de especialistas do domínio para participar, incluindo aqueles com formação em linguística, biometria, finanças e saúde. Embora a experiência anterior com sistemas de IA ou modelos de linguagem não seja um pré-requisito, a OpenAI menciona que a participação na Red Teaming Network pode envolver acordos de não divulgação e confidencialidade que podem impactar outras atividades de investigação.
A empresa valoriza a disposição dos especialistas em se envolverem e oferecerem perspectivas únicas na avaliação do impacto dos sistemas de IA. A OpenAI aceita inscrições de especialistas de todo o mundo e prioriza a diversidade de domínio e a diversidade geográfica durante o processo de seleção.
No entanto, permanecem dúvidas sobre se o red team por si só é suficiente. Os críticos sugerem que pode não ser.
Aviv Ovadya, colaborador da Wired e afiliado do Berkman Klein Center de Harvard e do Centro para a Governança da IA, defende a “equipe violeta”. Esta abordagem envolve a identificação de danos potenciais que um sistema como o GPT-4 pode causar a uma instituição ou ao bem público e o desenvolvimento de ferramentas que utilizem o mesmo sistema para proteção contra tais danos. Embora esta abordagem pareça prudente, como destaca Ovadya, pode haver incentivos limitados para empreender equipes violetas ou para desacelerar os lançamentos de IA o suficiente para torná-los eficazes.
Por enquanto, redes de red teaming como a OpenAI parecem ser a solução mais viável disponível.