Anthropic 首次推出 Claude 自我评估安全系统
根据Anthropic的Safeguards博客，Claude现在会进行反应后自我评估，以发现潜在的滥用，自六月以来，该评估发现了其他保障措施未被发现的问题，并随着模型的推进不断改进。
原文链接详细分析
Anthropic宣布了一种名为自我评估的新技术，训练克劳德在对话中标记潜在的滥用。生成回复后，克劳德对整个交流进行了初步安全评估。
据Anthropic介绍，该方法自6月起已启用，已检测到之前保障措施未识别的误用案例。由于Claude已处理对话，该方法高效，依赖模型自身判断而非固定分类器，随着模型改进精度提升。详情请参见Anthropic博客。
Anthropic
@AnthropicAIWe're an AI safety and research company that builds reliable, interpretable, and steerable AI systems.