headroom LLM token压缩工具封面
24

6 月

headroom:让 LLM 少读 95% 但不丢信息,今天 GitHub 最火的开源项目

Token 是 AI 时代的「汽油」——每一千个 token 都在烧钱。headroom 做的事很简单:在数据进入 LLM 之前先把它压扁,省掉 60-95% 的 token,但答案质量不变。今天 GitHub 单日 +2,624 Star,44 K 总星。

每一个用过 LLM 的人都有这个体验:你想让 ChatGPT 分析一个日志文件,但日志文件有 5000 行,其中 4800 行是重复的模板信息。你把整个文件喂进去,GPT 逐行读完,最后告诉你「第 3200 行有个异常」。问题在于 GPT 读了 4800 行冗余信息,而这 4800 行都计入了你的 token 账单。

三种接入方式

Python 库:from headroom import compress,一行代码。本地代理:在应用和 LLM API 之间插一层,所有请求自动压缩。MCP 服务器:直接在 Claude Code、Cursor、Codex 中作为 MCP 工具使用。

输入类型 压缩策略 典型节省
日志文件 模板提取 + 去重 + 结构化保留 80-95%
代码 diff 语义压缩 — 保留变更逻辑 60-80%
RAG 文档 关键句提取 + 冗余去重 70-90%
JSON/API 响应 字段过滤 + 嵌套扁平化 50-75%
对话历史 摘要化旧消息 + 保留最近 N 轮 60-85%

对国内用户的价值

国内开发者使用国际 LLM API 时,除了 token 本身还要乘以汇率。不用压缩:1000 万 token/月 × $15 × 7.2 = ¥10.8 万/月。用 headroom 省 80%:200 万 token/月 × $15 × 7.2 = ¥2.16 万/月。差距是实打实的 ¥8.64 万一个月。

FAQ

Q: headroom 和 Token 计数优化有什么区别?

tiktoken 只是帮你数 token 然后粗暴截断。headroom 是智能压缩——理解内容结构,保留语义关键信息,去掉冗余。

Q: 支持哪些 LLM 提供商?

headroom 是 LLM 无关的——它在数据进入 LLM 之前工作,支持所有厂商。

参考来源:

分享这篇文章

RELATED

Posts