
8 月
本地 AI 主权正在成形:odysseus 84 K 星 + Kimi K 3 跑在 8 GB 上 + 韩国决出 AI 国家模型
本地 AI 主权正在成形:odysseus 84 K 星 + Kimi K 3 跑在 8 GB 上 + 韩国决出 AI 国家模型
在 OpenAI 和 Anthropic 忙着应付越狱和监管的这一周,另一个趋势在安静的角落里加速:把 AI 从云端拽回本地。odysseus 自托管 AI 工作空间达 84 K 星。Kimi K 3 可以在 8 GB CPU 上推理(尽管极慢)。WASTE 引擎在 MacBook 上达到可用速度。韩国 4 进 3 的 AI 国家模型比赛进入最后评审。这不是巧合——这是同一个方向的不同篇章。
一个核心问题
OpenAI 的 API 很方便。Claude 的能力强大到可以解 Jacobian 猜想。但它们都有一个共同的前提:
你的数据必须离开你的服务器。
对于金融、医疗、国防、法律等行业,这是一个硬性约束。对于经历了这两周 AI 越狱新闻轰炸的任何组织,这是一个更强烈的心理驱动:「我们不想把一切交给一个控制不住自己模型的云端 API。」
这就是「本地 AI 主权」背后的核心驱动力。
三条并行的故事线
1. odysseus:你的 AI 工作空间,你的服务器
84 K 星,周涨 22 K。odysseus 不是「又一个聊天界面」。它是一个完整的工作空间——代码编辑、终端、文件系统、数据库、多 Agent 协作——全部自托管。
Docker 一键部署。数据在你的服务器上。不依赖任何外部 API。AGPL 许可证。
为什么爆火:时机。在 OpenAI/Anthropic 的越狱新闻占满头条的同一周,一个「把 AI 关在自己家里」的工具自然成为了讨论焦点。
2. Kimi K 3 本地推理:从「不可能」到「只是慢」
两天前,两个独立的开源项目证明:2.78 万亿参数的 Kimi K 3 可以在消费级硬件上运行。
Fareed Khan 的 C 99 引擎:6 个文件、176 KB 编译后二进制、0 GPU、8 GB RAM。每 token 33 秒——不实用,但证明了可能。
WASTE 引擎:MacBook Pro 64 GB、0.12 秒/token。已经接近可用的门槛。
核心洞察是同一个:MoE 模型的 93% 的权重在任何给定 token 面前都在睡觉。你只需要把它们从 NVMe 流式读取,不需要常驻内存。
3. 韩国 AI 主权竞赛
韩国政府正在执行一个罕见的公共项目:用本国技术和数据、从零训练 AI 基础模型,淘汰掉依赖外国开源模型的团队。
在 8 月 8-11 日 的第二轮评审中,4 支队伍将减为 3 支。年底决出最后 2 支——它们的模型将驱动韩国的国家 AI 聊天机器人,服务 5,100 万公民。
LG AI Research 的 K-EXAONE 2.0(750 B)和 SK Telecom 的 X K 2(688 B)在 48 小时内先后发布。两个都是完全国产的模型——不允许使用冻结的外国开源权重。今年 1 月,Naver Cloud 因为用了阿里巴巴 Qwen 的编码器权重被直接淘汰。
三条线交叉在一个点上
odysseus 提供本地化的 AI 工作空间。K 3-on-CPU 和 WASTE 证明本地化推理在物理上是可能的。韩国的 AI 主权竞赛证明国家层面也在追求 AI 自主可控。
从三个尺度——个人、工程、国家——同一个趋势正在成形:AI 的未来不只是更大的云端模型,也包括更可控的本地基础设施。
「把你的 AI 留在你自己手里」正在从一个隐私口号变成一个可实现的工程方向。
相关阅读
FAQ
本地 AI 能替代 Claude 或 GPT 吗?
目前还不能。K 3-on-CPU 的 33 秒/token 只是一种存在性证明。WASTE 的 0.12 秒/token 更接近可用,但仍远慢于 API。本地 MoE 推理在未来 1-2 年内更可能用于「后台批处理研究任务」而非实时对话。
odysseus 适合什么样的团队?
需要把 AI 工具放在自己服务器上的团队——金融合规部门、医疗研究组、法律科技公司、国防承包商。以及所有因为最近的 AI 越狱新闻而对云端 API 产生信任顾虑的组织。











评论 (1)
[…] 本地 AI 主权正在成形 […]
评论被关闭。