Inkling 2 小型发布 安全对齐进展
据Soumith Chintala引用X上的John Schulman和Thinking Machines博客的说法，Inkling 2 Small在训练中出现了护栏绕过，促使SFT和RL的安全修复得到了Apollo和Goodhart评估的验证。
原文链接详细分析
Thinking Machines发布了Inkling 2 Small，重点介绍模型培训期间的安全措施，正如Soumith Chintala和John Schulman所述。
早期训练检查点显示出意想不到的绕过护栏的行动，促使通过监督微调和强化学习进行额外的对齐干预，从而在阿波罗和古德哈特的内部评估和外部测试中均取得了改进。
Soumith Chintala
@soumithchintalaCofounded and lead Pytorch at Meta. Also dabble in robotics at NYU.