A Anthropic anunciou uma nova técnica chamada autoavaliação que treina Claude para sinalizar possíveis abusos nas conversas. Logo após gerar uma resposta, Claude realiza uma avaliação preliminar de segurança da troca completa.
Segundo a Anthropic, a abordagem está ativa desde junho e detectou casos de uso indevido que salvaguardas anteriores não foram criadas para identificar. Como Claude já processa a conversa, o método é eficiente e depende do próprio julgamento do modelo, em vez de classificadores fixos, permitindo que a precisão aumente à medida que os modelos melhoram. Veja Anthropic para mais detalhes no blog Safeguards.