Anthropic a annoncé une nouvelle technique appelée auto-évaluation qui entraîne Claude à signaler un usage potentiel abusif dans les conversations. Juste après avoir généré une réponse, Claude réalise une évaluation préliminaire de sécurité de l’ensemble de l’échange.
Selon Anthropic, l’approche est active depuis juin et a détecté des cas d’abus que les garanties précédentes n’avaient pas été conçues pour identifier. Parce que Claude traite déjà la conversation, la méthode est efficace et repose sur le jugement propre du modèle plutôt que sur des classificateurs fixes, permettant d’augmenter la précision à mesure que les modèles s’améliorent. Voir Anthropic pour plus de détails sur le blog Safeguards.