Anthropic объявила о новой технике — самооценке, которая обучает Клода выявлять возможное неправильное использование в разговорах. Сразу после получения ответа Клод проводит предварительную оценку безопасности всего обмена данными.
По данным Anthropic, этот подход активен с июня и выявил случаи неправильного использования, для выявления которых ранее не были предусмотрены меры безопасности. Поскольку Клод уже обрабатывает диалог, метод эффективен и опирается на собственное суждение модели, а не на фиксированные классификаторы, что позволяет точности расти по мере улучшения моделей. См. Anthropic для подробностей в блоге Safeguards.