跳到正文
← 全部笔记
生活随笔BOOTNOTE

Fable5.1上线了,但我只关心它什么时候流口水

尹睦3 分钟阅读

原载公众号 BookNote · 保留原文观点与写作日期

#生活随笔

阅读公众号原文 ↗

Anthropic今天发布了Fable 5.1。先说结论,这次看起来确实很牛逼。官方数据里,它在科学Agent评测上从Fable 5的24.7%涨到52.6%,商业工作流从 17.1%涨到31.4%,终端编程、电脑操作和复杂推理也全面提升。它不只会写代码,还能在几十个小时的无人值守任务里自己调整、失败重试、验证结果。我朋友实测过也说,提升不小。而且还更便宜了。输入和输出仍是每百万Token 10美元和50美元,没降。但缓存读取从每百万Token 1美元降到0.25美元,直接砍掉75%。Agent会反复读取长上下文,这个降价影响很大。官方估算,普通任务总成本下降约25%,高强度Agent任务最多能省约45%,算是比较有良心。按照首发资料,Fable 5.1不是挤牙膏,而是能力、速度和价格一起进化。所以测评基本都是一片叫好。但我在想一件事——怎么能保证它过段时间不拉垮。 1.首发测评已经不够了不是我不关心模型能力,而是Anthropic这套剧情,已经上演过太多次了。新模型刚上线,一个个都像神仙:思考深,能听懂人话,长任务不跑偏。用了半个月,突然开始思考变短、判断变飘、工具乱调,蠢得流口水。前后反差大到让你怀疑,自己用的是不是同一个模型。所以Fable 5.1现在能不能做对一道题,我已经没那么关心了。我更关心一个月后,它还能不能做对。 2.降智不一定是偷换模型

这里得说清楚,我没有证据证明降智是厂商故意为之。体感变差,可能是流量上来后的算力调度,也可能是系统提示词、上下文压缩、安全策略或产品路由变了。 Anthropic官方就公开说过,Fable的部分生物和网络安全请求会被转交给Opus回答。这次5.1的一项重点,就是降低安全系统的误伤。这说明一件事:我们实际用到的,从来不只是模型权重,而是模型、算力、安全策略和产品工程拼在一起的系统。但用户也没义务帮厂商区分到底是哪一层出了问题。我买的是它能稳定干活,不是一篇解释它为什么突然变蠢的论文。发布会展示的是上限,普通用户每天碰到的却是下限。所以我觉得测评模型,不能只看上线第一天有多惊艳。得用同一批真实任务,第一天测一次,第七天测一次,第三十天再测一次。不只看它能不能做,还要看中途失败多少次、需要多少人工返工、最后花了多少 Token。峰值决定你会不会惊呼,下限才决定你敢不敢把工作交给它。今天Fable最强,明天可能是GPT,后天又换成别人。但真正能帮我们提效的,从来不是某一个模型某一刻的惊艳,而是稳定的模型,成熟的工作流协同的结果。所以Fable 5.1很强,我也希望它一直强。但在它稳定干满一个月以前,我不准备爱上它。真正的最强模型,不是发布当天会做最难的题,而是到第三十天,它还没开始流口水。我是敦敦,多年获客操盘手,如果你对流量获客有任何想法或者困惑,欢迎和我聊聊。

—

有值得继续追问的问题?写信交流 ↗