一句话结论：开源项目 Colibri 用纯 C 语言写了一个零依赖的 MoE 推理引擎，核心思路是不把整个模型的专家权重一次性装进显存，而是推理时从硬盘按需流式加载稀疏专家。这让前沿规模的混合专家模型第一次有可能跑在普通消费级硬件上，项目因此冲上了 GitHub Trending。 AI 摘要 项目是什么：Colibri，一个纯 C、零外部依赖的 MoE 模型推理引擎，作者 JustVugg。核心思路：推理时从磁盘流式加载稀疏 MoE 专家权重，而不是预加载整个模型到显存。价值：大幅降低前沿模型对显存和企业级硬件的依赖，推动本地化部署。适用边界：牺牲了部分速度换取显存门槛，适合实验和本地部署，不是云推理的替代。 Colibri 是什么 Colibri 是一个开源的 MoE 模型推理引擎，作者是开发者 JustVugg。它最近冲上了 GitHub Trending，原因是解决了一个很具体的问题：前沿混合专家（MoE）模型太大，普通电脑跑不动。 MoE 模型的特点是「大而稀疏」。像 DeepSeek、Kimi 这类模型，总参数动辄几百亿甚至上万亿，但每次推理只激活其中一小部分专家。问题在于，传统推理引擎为了速度，会把全部专家权重都预加载进显存——哪怕大部分专家这次根本用不到。这就把门槛拉到了需要企业级显卡集群的高度。 Colibri 换了个思路。它不预加载，而是推理到哪个专家，就从硬盘把哪个专家的权重流式读进来。这样显存里只放当前需要的那部分，门槛一下子就降下来了。 它凭什么跑得动前沿 MoE 关键在两点：纯 C，和零依赖。 纯 C 意味着没有 Python 运行时、没有深度学习框架的层层封装，推理路径短，内存开销可控。零依赖意味着它不依赖 CUDA 之外的任何重型库，部署简单。 流式加载是这个设计的核心。MoE 模型每一层有几十个专家，一次推理只会命中其中几个。Colibri 把这个「命中」和「从磁盘读取」绑定在一起，用 I/O 换显存。代价是速度会慢一些——磁盘读写总比显存慢——但换来的是一台普通电脑也能跑前沿模型的可能。 这跟