跳到正文
← 全部笔记
AIBOOTNOTE

云端下,AI本地模型正在成为第二条主航道

尹睦4 分钟阅读

原载公众号 BookNote · 保留原文观点与写作日期

#AI

阅读公众号原文 ↗

Qwen最近发布了两个模型。一个是总参数达到2.4万亿的Qwen3.8-2.4T-A95B,继续往能力上限冲。另一个是Qwen3.8-27B,参数小得多,却支持视觉理解、长上下文、工具调用和Agent 任务。大部分人都会盯着最大的那个。但对我来说,27B可能更值得关注。因为它透露出另一条路线:大模型不只在变得更大,也在被塞进越来越小的机器里。 1.AI开始分成两条路过去聊大模型,大家默认的方向只有一个:参数更大、算力更多、能力更强。这条路当然还会继续。最前沿的模型需要庞大的数据中心,普通人只能通过API和订阅使用。但开源模型正在走另一条路。它不追求每项能力都拿第一,而是不断提高能力密度,用更少的参数和内存,完成过去只有旗舰模型才能完成的任务。说白了,云端模型负责冲击智能上限,本地模型负责跨过实用下限。只要本地模型跨过那条线,它就不再是给极客玩的玩具,而会变成一种真正的生产工具。 2.它不需要打败云端很多人判断模型的价值,只问一句:它能不能替代最强的Claude或者GPT?这个问题问错了。因为本地模型和云端是不同的赛道,本地模型不需要全面打败云端。

资料整理、知识库检索、批量改写和代码辅助,只要能稳定完成,已经接住了大部分需求。一个模型即使只有最强模型八成的能力,但可以离线运行,不按Token收费,私密资料不用上传,接口和数据都掌握在自己手里,它依然有独立价值。本地AI卖的不是最强,而是稳定、私有和可控。 3.变的不只是模型 Qwen3.8-27B经过4-bit量化后,大约需要17到19GB总内存。高配个人电脑已经能把它跑起来,只是根据配置不同,速度上有所差异。跑起来不等于能干活,速度和长任务稳定性还要看真实测试。但趋势很明显。量化和推理框架在进步,硬件内存不断扩大,本地模型还能提供兼容 OpenAI格式的接口。这意味着将来有更多的小企业甚至个人,可以通过消费级的算力卡,搭建属于自己的本地模型。单独一个27B模型不算什么革命。模型、硬件和推理工具一起成熟,才是本地AI开始成立的原因。以后它可以常驻在电脑里,接入Obsidian、代码仓库和内容生产线,像数据库和NAS一样,变成一人公司的基础设施。 4.最后会是两套系统所以未来大概率不是本地模型取代云端,也不是所有AI都留在数据中心。更合理的分工是,高频、私密、重复的任务交给本地模型;低频、高难度、需要最强能力的任务继续调用云端模型。全用云端,业务会受价格、限流和服务变化影响。什么都自己部署,又要承担硬件、维护和升级成本。真正聪明的选择不是押注哪一边,而是把任务放到最合适的地方。 Qwen3.8-27B未必就是那个决定性的模型,官方跑分也不等于真实工作里的交付能力。

但它代表的方向已经很清楚。大模型继续往万亿参数发展,另一边,高能力密度的开源模型也会不断进入个人电脑。 AI行业未来竞争的,或许不只是哪个公司能训练出最大的模型。还有谁能把足够强的智能,装进一台普通人真正拥有的机器里,这条赛道同样值得研究。我是敦敦,多年获客操盘手,如果你对流量获客有任何想法或者困惑,欢迎和我聊聊。

—

有值得继续追问的问题?写信交流 ↗