Anthropic AI 通过率41.25%，自由职业任务未达标率58.75%

Anthropic Fable 5.2在远程自由职业任务评估中以41.25%通过率位居榜首

在近日发布的远程劳动指数（Remote Labor Index, RLI）排名中，Anthropic的Fable 5.2模型以41.25%的通过率位列第一。然而，数据显示，即便作为领先模型，其在超过半数的任务中仍未达到客户验收标准，未达标比例高达58.75%。

头部模型差距显著，评分细节披露

根据Scale AI于13日公布的RLI排名数据，Fable 5.2以41.25%的通过率居首，第二名Opus 5.5的通过率为21.25%，两者之间存在20个百分点的显著差距。

此前，Anthropic在9日发布的模型资料中曾公开称，Fable 5.2的RLI得分为41.3%。公司解释称，这一高分是在启用“高推理努力”（High effort）设置并应用安全机制后取得的。排行榜分数与官方声明之间的微小差异，主要源于小数点保留位数的不同。

评估核心：完成度而非单一答案准确性

RLI评估体系的核心在于考察项目是否被完整交付，而非仅仅回答单个问题是否正确。其评价对象并非任务执行过程，而是最终提交成果的完成度。

Scale AI在研究资料中指出，用于评估的数据集由240个自由职业任务组成，涵盖Upwork平台64个分类中的23个领域。每个项目均包含委托要求、所需输入文件以及由专家制作的已完成样本。评估方式是将AI基于相同资料生成的成果与专家样本进行对比。

严格的验收标准：非“可用”即“不合格”

评分的关键标准是“合理解智的客户能否接受该结果”。经过训练的评价人员需独立判断，并通过多数决机制确定是否通过。值得注意的是，仅具备部分功能或草稿具有参考价值并不足以判定为通过。若最终成果未达到标准，即使完成了部分工作，也不会计入通过率。

因此，41.25%的通过率并不意味着该模型能替代41.25%的自由职业岗位，它仅代表在既定项目样本中，符合评估标准的比例。

评估局限性与现实应用的距离

在全部240个项目样本中，有230个非公开项目用于正式的定量排名评估，其余10个则公开用于定性分析。排行榜并未单独列出Fable 5.2的具体通过数量。

此外，评估范围存在一定局限性。需要与客户直接沟通的工作、涉及体力劳动的任务，以及需要长期观察结果的项目均未纳入样本。这意味着，仅凭此分数难以全面反映实际工作中所需的人力支持水平及部署成本。虽然排名展示了特定条件下的成果质量，但并未回答在不同领域中分配人类工作的具体成本和可行性问题。

社区反应：期待与审慎并存

在Hacker News的相关讨论中，用户对此次发布既抱有期待又保持谨慎。有用户认为，相较于其他模型约20%的水平，Fable 5.2展现出开启新AI代理任务的潜力。然而，其他用户指出，应结合个人使用体验、模型间的比较条件及成本进行综合考量。这些观点代表了用户的看法，而非独立的性能验证结果。

综上所述，解读AI评估分数时，必须同时审视任务构成与评判标准。尽管公开排行榜提供了各模型的通过率，但并未详细说明Fable 5.2未能通过的具体项目的失败原因。