Llama Windows 上手：Windows 11 托盘一键跑本地大模型，不用命令行

一句话结论：Llama Windows 是 Hugging Face 2026 年 10 月 13 日发布的免费开源 Windows 11 托盘应用（MIT 许可），把 llama.cpp 包装成「点图标、选模型、下载、开聊」四步，不需要终端、不需要编译、不需要管理员权限。它同时在本机提供 OpenAI 兼容接口，适合第一次在自己电脑上跑开源模型的人，也适合想给脚本接一个本地模型的开发者。

AI 摘要

• 资源类型：免费开源软件（Windows 11 桌面应用）
• 来源：Hugging Face 官方博客发布，代码在 GitHub ggml-org/Llama-Windows
• 适合人群：想在 Windows 电脑上离线跑开源模型的普通用户、需要本地 OpenAI 兼容接口的开发者
• 使用价值：自动安装和管理 llama.cpp，一键下载推荐模型，模型缓存与其他 Hugging Face 工具共享
• 风险边界：项目很新（GitHub 87 星，2026-10-14 核查）；官方博客和 README 给出的本地端口不一致，需以本机实际为准

资源信息

• 资源名：Llama Windows（代码仓库内名称 LlamaApp）
• 资源 URL：https://llama.app
• 类型：免费或开源软件
• 许可或授权：MIT
• 是否免费：完全免费
• 是否需要登录：不需要；只有下载需要授权的模型时，才要在设置里填 Hugging Face 访问令牌
• 最近核查日期：2026-10-14（GitHub 最新 Release 为 v 0.12.0，发布于 2026-10-10）

Llama Windows 是什么，解决了什么问题？

Llama Windows 是 llama.cpp 的 Windows 图形外壳。llama.cpp 是目前使用最广的本地模型推理引擎，Hugging Face 上的本地模型大多采用它推出的 GGUF 格式。问题在于，在 Windows 上用它一直要和终端打交道：先找到匹配自己硬件的二进制文件，再挑选模型和量化版本，最后带着一串参数启动服务。

Llama Windows 把这些步骤收进系统托盘。它是一个原生 WinUI 3 应用，没有任务栏窗口：左键点托盘里的羊驼图标，会弹出一个紧凑面板；右键可以打开主界面或退出。在任意位置按 Alt+Space，还能呼出对话浮层。它是 macOS 版 llama.app 的 Windows 对应版本，发布时就原生支持 Windows on Arm 和 NVIDIA RTX Spark。

如果你更关心在低配硬件上跑大模型的极限做法，可以对照阅读 Colibri 纯 C 推理引擎，它走的是另一条路线。

哪些人适合用 Llama Windows？

Llama Windows 主要适合四类人：Windows 11 上的本地模型新手、注重隐私的用户、需要本地 OpenAI 兼容接口的开发者，以及已经在用 Hugging Face 工具链的人。

• 第一次接触本地模型的 Windows 用户：不想装 Python、不想看命令行，只想在自己电脑上离线和模型对话。
• 注重隐私的用户：官方说明所有对话都在本机完成，下载完模型后不需要联网，数据不会上传。
• 开发者：应用会在本机启动一个 llama.cpp 服务，提供 OpenAI 兼容接口，自己的脚本和 Agent 可以直接调用已加载的模型。
• 已经在用 Hugging Face 工具的人：模型存放在标准的 Hugging Face 缓存目录，和 llama.cpp 等工具共用，同一个模型不用下载两遍。

不太适合的情况：需要 Linux 或 Windows 10 的用户（官方只写了 Windows 11），以及需要多卡、多机部署的团队。后者可以看看 NVIDIA 开源的 PAIR，它能把多台电脑拼成一台本地 AI 服务器。

怎么安装 Llama Windows？

普通用户按官方的四步走：

1. 在 Windows 11 电脑上打开 llama.app，下载 Llama Windows。
2. 启动后，羊驼图标会出现在通知区域；如果没看到，点开托盘的溢出菜单（向上的小箭头）。
3. 点击图标，在「Recommended Models」（推荐模型）里挑一个模型下载。每个模型都标了参数量、占用磁盘大小和是否支持图像输入，可以先按自己的内存和硬盘空间挑选。
4. 下载完成后加载模型，打开 llama.cpp 网页界面开始对话。

首次启动时，应用会先检查本机是否已有正在运行的 llama.cpp 服务；如果没有，就用 llama.cpp 官方安装脚本自动安装到 %USERPROFILE%\.llama-app\llama.exe，全程不需要管理员权限。

开发者怎样调用本地接口？

Llama Windows 启动的 llama.cpp 服务提供 OpenAI 兼容接口，自己写的程序可以直接用 OpenAI SDK 调用。这里有一处需要注意：Hugging Face 官方博客写的端口是 9931，GitHub README 写的是 2276。安装后请先用浏览器或 curl 试一下哪个端口有响应：

curl http://localhost:9931/models
curl http://localhost:2276/models

能返回模型列表的那个就是本机实际端口。然后在 Python 里这样调用（把端口和模型 ID 换成你本机查到的值）：

from openai import OpenAI

client = OpenAI(base_url="http://localhost:9931/v1", api_key="not-needed")
resp = client.chat.completions.create(
    model="<从 /models 查到的模型 ID>",
    messages=[{"role": "user", "content": "用一句话介绍你自己"}],
)
print(resp.choices[0].message.content)

有了本地接口，就可以把模型接进自托管的工作台，例如 odysseus 自托管 AI 工作空间。如果需要校验本地模型的结构化输出，可以配合 Python jsonschema 输出校验 使用。

模型、日志与设置的存放位置

模型文件通常有几 GB 到几十 GB。如果系统盘空间紧张，可以在设置里把模型缓存目录改到其他磁盘。需要下载授权模型或私有模型时，也是在设置里填写 Hugging Face 访问令牌。

下载地址

• 官方下载：https://llama.app（Windows 11 电脑访问即可下载）
• GitHub 源码：https://github.com/ggml-org/Llama-Windows（MIT 许可）
• GitHub Release：v 0.12.0（2026-10-10），提供 LlamaApp-v0.12.0.msixbundle、x 64 和 arm 64 的 .msix 安装包
• 官方介绍：Hugging Face 博客《Introducing Llama Windows: llama.cpp in your Windows tray》（2026-10-13）

使用 Llama Windows 有哪些风险和限制？

• 项目很新：仓库 2026 年 6 月创建，10 月 13 日才正式发布，截至 10 月 14 日只有 87 星，界面和接口细节可能频繁变化。
• 端口说法不一致：博客和 README 分别写 9931 和 2276，写进脚本前要以本机实际为准。
• 模型选择范围：官方文档只介绍了「推荐模型」面板，能否直接添加推荐列表以外的模型，文档没有说明。
• 硬件决定体验：本地推理速度取决于内存和显卡。大模型即使能下载，也可能因为内存不够而加载失败或速度很慢。
• 模型授权要单独看：应用本身是 MIT 许可，但每个模型都有自己的许可证，商用前要逐个确认。
• 替代方案：习惯命令行的用户可以直接用 llama.cpp；想要更完整图形界面的，可以考虑 LM Studio、Ollama 等同类工具。

FAQ

Llama Windows 收费吗？

不收费。Llama Windows 是 MIT 许可的开源软件，可以免费下载和使用，源码在 GitHub ggml-org/Llama-Windows。下载的模型是否收费、能否商用，要看每个模型自己的许可证。

不联网能用吗？

可以。模型下载完成后，对话全部在本机完成，官方说明不需要联网，数据不会保存到别处。只有首次安装 llama.cpp 和下载模型时需要网络。

Windows 10 能用吗？

官方博客和 README 都只写了 Windows 11。源码的构建目标里出现了 Windows 10 的 SDK 版本号，但这不等于官方支持 Windows 10，建议在 Windows 11 上使用。

和直接用 llama.cpp 有什么区别？

底层是同一个 llama.cpp。Llama Windows 额外做了三件事：自动安装和管理 llama.cpp 程序，提供带下载进度的推荐模型列表，以及常驻托盘的界面。需要细调启动参数的用户，直接用 llama.cpp 会更灵活。

参考来源

• Hugging Face 博客：Introducing Llama Windows: llama.cpp in your Windows tray（2026-10-13）
• GitHub：ggml-org/Llama-Windows README、许可证与 Releases（2026-10-14 核查：MIT，v 0.12.0，87 星）
• llama.app 官网（2026-10-14 访问返回 200）