AI 输出验收工具链：从图片输入到月度账单，10 篇实操 + 2 个在线工具

一句话结论：AI 输出验收工具链是一套把大模型接入业务前的检查流程，分五段：输入图片怎么压缩和缩放、输出 JSON 怎么校验、提示词改动怎么做回归、Agent 流程怎么画清停止条件、成本怎么按真实用量记账。本页把智盒 2026 年 10 月发布的 10 篇实操文章和 2 个免费在线工具（模型输出 JSON 校验器、大模型 API 成本估算器）按这五段串起来，每段都给出先读哪篇、用什么工具、验收标准是什么。

AI 摘要

• 适合谁：接大模型 API 做信息提取、客服、Agent 自动化，准备上线或换模型的开发者和产品负责人
• 五个环节：输入准备 → 输出结构 → 提示词回归 → Agent 流程 → 成本与日志
• 两个在线工具：JSON 校验器（粘贴 Schema 和模型输出，逐条列出错误路径）、成本估算器（按真实 token 用量算单次和月度费用）
• 共同原则：用固定样本、可重复的命令和明确的通过线，而不是「看起来还行」

为什么模型能跑通还不能直接上线？

演示时跑通一两次，只说明模型「能」完成任务，不说明它「稳定地」完成任务。上线前最常见的四类问题是：输入图片被压缩后小字丢失、输出 JSON 少字段或类型不对、提示词改短后原来答对的样本开始出错、Agent 在失败或超时后不停重试。这些问题在少量手工测试里很难暴露，等到线上批量运行才出现，代价最高。

验收工具链的思路是把每一类问题变成可以重复运行的检查：固定一批样本、写下通过标准、用命令或工具自动比对。下面五个环节按数据在系统里流动的顺序排列，可以从任何一段开始补。

第一步：图片输入怎么准备？

让模型读截图、发票、图表之前，先决定图片的尺寸上限和压缩方式。压缩太狠会让小数点、表格细线和小字消失，模型识别错了也不会报错。

• 给 AI 读图前怎么压缩？用 Squoosh 保住小字、图表和透明边缘：用原图和两份候选三路对照，记录十个关键字段是否识别一致
• Sharp 图片预处理：给 AI 截图输入建立尺寸上限和独立输出：把人工选定的规则写进 Node.js 脚本，不放大小图，输出到独立目录

验收标准：压缩后的版本在关键字段上和原图识别结果一致，再采用。

第二步：模型输出的 JSON 怎么验收？

模型「能输出 JSON」和「输出的 JSON 能直接入库」是两回事。字段缺失、类型错误、枚举越界、空响应都需要单独检查，而且结构正确不等于内容正确。

• 国产模型输出 JSON 就能上线？先做这套结构化验收：三层校验、12 条冒烟样本设计、异常分类和人工审核门槛
• Python jsonschema：给模型输出加一道可执行的数据合同：在代码里用 JSON Schema 拦截不合规输出，附四个正反样本
• 在线工具 模型输出 JSON 校验器：粘贴 Schema 和模型回答（可以直接带 Markdown 代码块），浏览器本地逐条列出错误路径，支持 JSONL 批量

验收标准：冒烟样本全部通过结构校验，失败样本被正确拦截，且有人工抽查内容事实。

第三步：提示词改了以后怎么证明没变差？

把提示词改短、换模型或加规则后，常见的情况是修好了几个错例，同时把原本答对的样本改错了。只看新错例无法发现这种退步。

• 提示词改短以后真的更好吗？用保留集做一次回归检查：调试集与保留集分开，冻结标签规则，逐条记录差异
• Promptfoo 上手：先用本地输出检查评测规则，再连接模型：用 Echo provider 先验证断言写得对不对，再接真实模型

验收标准：新版本在保留集上的正确数不低于旧版本，退步样本逐条有解释。

第四步：Agent 的审批和停止条件怎么审查？

Agent 能调用工具、发邮件、改数据，风险集中在异常路径：审批被拒、超时、重复执行、什么时候停下。只画正常流程的设计图会掩盖这些问题。

• 用 Mermaid 审查 AI Agent：把审批、失败和停止条件画清楚：四类路径检查，覆盖幂等键、人工批准和状态查询
• Mermaid CLI：把 Agent 流程图源文件放进可重复的构建流程：流程图随代码一起版本管理，导出 SVG

验收标准：每个会产生外部副作用的步骤，都能在图上找到拒绝、超时和停止三条出路。

第五步：成本怎么按真实用量算？

按「每百万 token 单价」比模型，会漏掉缓存命中、思考 token、联网搜索、失败重试和缺失的用量记录。账单要以成功完成的任务为单位来算。

• 国产模型怎么比成本？把重试、缓存和失败任务记进同一本账：任务账本字段设计，合格任务平均成本的算法
• jq 日志整理：把 AI 调用的失败与未知用量留在统计里：从 JSONL 调用日志里分出重试、失败和缺失 usage，不把未知记成零
• 在线工具 大模型 API 成本估算器：填入接口返回的未命中输入、缓存命中、输出 token 数和重试比例，算单次与月度费用，并对比 DeepSeek、Step 5、Gemini、Claude；价格标注官方来源与核查日期

验收标准：用一周真实日志算出的「每个合格任务成本」，和估算器的结果差距在可解释范围内。

小团队应该从哪一步开始？

不必五步一次做完。按问题出现的位置选起点：

已经在用 DeepSeek 跑 Claude Code 或 Agent 的团队，建议先做第五步：2026 年 11 月 1 日起 DeepSeek 的联网搜索按次计费，详见 DeepSeek V 4.1 Flash 1017 价格报道。

FAQ

AI 输出验收和模型跑分有什么区别？

跑分衡量模型在公开基准上的平均能力，验收衡量模型在你自己的业务样本上是否稳定达标。同一个模型跑分很高，也可能在你的字段格式、图片质量或流程约束下频繁出错，所以上线前必须用自己的样本做验收。

这些工具需要付费吗？

不需要。本页提到的 jsonschema、Promptfoo、Mermaid CLI、jq、Sharp、Squoosh 都是开源或免费工具，两个在线工具由智盒免费提供，在浏览器本地计算，数据不上传。

换模型时最少要做哪几项检查？

至少做三项：用同一批冒烟样本跑 JSON 结构校验，用保留集对比新旧模型的正确数，用一周真实用量估算新模型的月度费用。三项都通过再切换。

参考来源

• 智盒 2026 年 10 月发布的 10 篇 AI 开发验收系列文章（#7524～#7533）
• 智盒在线工具：模型输出 JSON 校验器（10-17 上线）、大模型 API 成本估算器（10-26 上线）