Notícias

A Anthropic Compartilha Recomendações para Avaliações de Segurança em IA Robusta

A Anthropic delineia estratégias para construir avaliações de segurança em IA eficazes, enfatizando equipes multidisciplinares, ambientes de teste seguros e medições precisas.

A Anthropic Compartilha Recomendações para Avaliações de Segurança em IA Robusta

Artigo traduzido. Ler o artigo original.

A Anthropic publicou recomendações detalhadas para a construção de avaliações de segurança em IA robustas, enfatizando seu papel crítico na determinação se um modelo de IA está pronto para ser implantado, as proteções que requer e o foco da pesquisa futura em segurança. Essas avaliações avaliam a probabilidade de um modelo causar ou contribuir para danos, em vez de medir capacidades específicas, e são fundamentais para garantir o uso responsável da IA.

Desafios na Construção de Avaliações de Segurança Eficazes

De acordo com a Anthropic, construir avaliações de segurança confiáveis é complexo devido a questões como manipulação de métricas de avaliação, validade construtiva deficiente e documentação insuficiente para reprodutibilidade. Por exemplo, os resultados podem variar significativamente dependendo se as perguntas são de múltipla escolha ou abertas, ou até mesmo com base na ordem das opções de resposta. Esses desafios refletem aqueles enfrentados pela psicologia 10 anos atrás, que foram abordados por meio de reformas como pré-registro e técnicas de medição aprimoradas.

Principais Recomendações para Avaliações de Segurança

A Anthropic destaca várias estratégias para aumentar a confiabilidade das avaliações de segurança em IA:

  • Equipes Multidisciplinares: Avaliações eficazes requerem a contribuição de especialistas técnicos e de domínio. Especialistas em métodos projetam processos de amostragem e análise, enquanto especialistas em domínio garantem que as avaliações abordem cenários realistas e diversos, definindo danos e respostas apropriadas.
  • Ambientes de Teste Seguros: Avaliações de segurança frequentemente desativam salvaguardas padrão para avaliar o desempenho básico do modelo. Para mitigar riscos, a Anthropic recomenda a execução de avaliações em ambientes de sandbox sem acesso à internet, com monitoramento em tempo real para evitar ações não intencionais.
  • Design de Avaliação Personalizado: O design de uma avaliação deve alinhar-se com seus objetivos. Designs observacionais são adequados para entender o comportamento do modelo, enquanto designs causais são necessários para testar o impacto de intervenções específicas.
  • Validade Construtiva: Avaliações devem medir o conceito pretendido. Por exemplo, taxas de recusa podem não ser apropriadas para avaliar respostas a tópicos sensíveis como suicídio, onde o envolvimento empático e a orientação para o suporte humano são métricas mais adequadas.

Aplicações Práticas e Direções Futuras

A Anthropic implementou esses princípios em suas próprias avaliações de segurança, como avaliações de múltiplas interações que avaliam o desempenho de um modelo em conversas inteiras. Essas avaliações usam rubricas desenvolvidas por especialistas em domínio para julgar respostas apropriadas, com uma única falha resultando em uma nota reprovada para toda a interação.

Ao adotar essas recomendações, as organizações podem melhorar a confiabilidade e a credibilidade das avaliações de segurança em IA, garantindo que os modelos sejam eficazes e seguros para implantação em cenários do mundo real.

Mais artigos em português · Comparações financeiras e fontes da SEC (inglês)