本页面的流程图和控制台是前端演示素材
它用于讲清楚我们如何设计一条工作流,不表示当前网页已经连接了真实客户系统、模型、数据库或第三方 API。
不是把模型接上聊天框就叫落地。我们展示任务怎样被拆解、数据如何受控、Agent 怎样使用工具、错误如何被发现、什么情况下交给人,以及上线后怎样判断这套流程值不值得继续。
它用于讲清楚我们如何设计一条工作流,不表示当前网页已经连接了真实客户系统、模型、数据库或第三方 API。
真正运行必须具备客户授权的模型/工具账号、数据环境、接口权限、审批人和运维安排;无法验证的能力不会说成已上线。
项目交付应留存版本、测试样本、评测结果、错误处理和验收记录;页面里的行业流程均为讲解用示例,不能当成已验证客户案例。
我们挑这个流程,是因为它同时包含非结构化文本、业务规则、企业知识、CRM 动作和对外承诺,能具体展示 Agent 的能力与边界。
完成标准不是“生成一段像样的回复”,而是:正确识别客户需求;关键字段结构化;结论能指向资料来源;缺少报价条件时停下来;形成清晰的人工下一步。
演示只使用虚构客户名称、测试商品和模拟价目表。真实项目先确认哪些字段可进入模型、哪些可存日志、哪些要脱敏;API 凭证通过密钥管理,不写进提示词或代码仓库。
字段固定、步骤固定时,规则流程或单次结构化抽取更便宜、更好测;只有当输入变化大、需要根据上下文挑选检索或工具时,才让 Agent 做受限决策。此例用“确定性工作流 + 局部模型判断”,避免把全流程交给自由规划。
资料先分版本、权限和生效时间,再切块与索引。检索结果会做关键词/语义混合召回与重排候选,回答中保留命中文件、版本或段落引用。找不到可靠依据时,返回“信息不足”,而不是编一个听起来合理的答案。
MCP、函数调用或经授权 API 可把模型连接到 CRM、知识库和任务系统,但协议不等于授权。工具按最小权限配置:读取线索与产品资料可以先试;创建跟进任务前校验客户 ID;发邮件、改报价、改订单必须要求明确审批。
样本里缺少交付地址和安装条件,系统不生成交付承诺;它列出待确认字段并创建“补充信息”任务。高风险动作可设置权限校验、金额阈值、确认弹窗、超时中止与人工接管。
一次运行至少要能看到输入摘要、检索证据、模型/提示版本、工具调用参数、返回结果、审批节点、耗时、Token/费用、异常和最终状态。这样调试的是“哪一步出问题”,不只是问用户“感觉回答好不好”。
建立一组有代表性的历史样本和边界样本,比较人工基线与系统结果。评测字段抽取、引用准确性、错误拒答、工具选择、越权阻断、人工修改量、延迟和成本;上线后持续抽样,失败案例进入下一版回归集。
下面不是每个项目都必须使用的“技术清单”。我们按问题需要组合;能用简单可靠的方式解决,就不为了显得先进而堆框架。
按准确率、延迟、成本、部署地点和语言能力选择模型。文本/图像/音频任务分别评估;必要时以小模型做分类、强模型处理困难样本,减少不必要调用。
数据清洗、版本/权限元数据、语义与关键词混合检索、重排、上下文压缩和引用返回。RAG 不是“把 PDF 喂进去”就完成;要测试切块、召回和过期内容。
使用确定性编排控制关键步骤;在合适环节使用 Agent 进行分类、规划或工具选择;通过 API / function calling / MCP 连接外部工具。若要跨独立 Agent 协作,再评估 A2A 等协议及其身份与信任边界。
隔离运行环境、最小权限、输入输出校验、工具白名单、提示注入防护、敏感信息过滤、人工确认、速率/费用/步数上限、失败关闭与审计留痕。能否实现取决于目标平台和接入方式。
离线基准集测回归,线上 Trace 看路径,LLM-as-judge 只作为辅助信号并抽样人工复核;监控异常、工具失败、成本与延迟。把线上失败归档为新测试案例。
按数据政策选择云 API、私有云、内网或本地推理;加入容器化、密钥管理、备份、灰度发布、回滚和运行手册。离线不自动等于安全,端侧也要做模型许可、补丁、权限和备份评估。
任务:给内部工具新增一个表单和数据校验。
任务:让员工查一类产品或制度问题,减少找文件时间。
任务:读取样例表格与会议纪要,生成结构化摘要和待办。
任务:受理营业时间、常见服务信息并把复杂问题转人工。
任务:在指定硬件上完成一类内部资料的检索/摘要。
任务:多份资料和多类规则需要并行核对并汇总。
| 阶段 | 我们做什么 | 客户能看到什么 | 继续的判断依据 |
|---|---|---|---|
| 发现问题 | 访谈岗位、跟走真实任务、盘点系统和数据边界 | 现状流程图、问题清单、风险与依赖 | 问题频率和损耗是否足够值得试 |
| 原型验证 | 合成/脱敏数据、最小工具、影子运行 | 可复现脚本、样本结果、失败例 | 输出是否可检查,能否安全兜底 |
| 评测试点 | 基准样本、回归评测、权限与故障演练 | 指标结果、风险记录、成本/延迟 | 相较人工基线是否有明确改进 |
| 有限上线 | 小流量、审批门、监控、回滚演练 | 运行手册、权限表、告警与审计记录 | 团队能否接手,异常是否被发现 |
| 持续运营 | 复盘失败、更新样本与知识、控制成本 | 版本记录、质量趋势、维护清单 | 净收益是否大于模型和运维总成本 |
演示用例只代表被挑选的任务。生产环境会有脏数据、权限差异、异常峰值和用户习惯。
可靠性来自数据、工具契约、权限、重试、观测、评测和人工流程共同作用。
MCP/API/A2A 有助互操作,但仍受目标系统权限、服务商支持、网络政策和安全审查限制。
审核、纠错、培训、维护和 API/硬件账单都要计入收益核算。
下面资料帮助理解 Agent 架构、工具、安全、Trace 与评测。实际项目仍需结合客户系统和授权条件重新验证。
带一份脱敏样例、一段真实流程和你最关心的指标来。我们先判断是否需要 Agent、是否应该用更简单的自动化,以及怎样做一个可回退的小试点。