检索增强型助手将模型与根据用户问题选取的文档或业务记录相结合。本文是一份用于范围规划的参考设计,并不声称某一种架构能够满足每个项目在准确性、延迟或隐私方面的要求。
从访问权限和来源所有权开始
明确来源所有者、更新流程、允许的用户以及可发送给模型的文档。记录来源 ID 和修订版本,以便返回的答案能够链接到其证据。在检索前执行权限控制,并在返回记录或执行操作前再次执行权限控制。
评估检索方案
| 需求 | 候选方案 | 评估方式 |
|---|---|---|
| 精确的零件编号或政策名称 | 关键词或结构化查询 | 测试拼写变体和缺失的标识符 |
| 使用不同措辞表达的问题 | 语义检索 | 检查真实问题中的相关段落 |
| 多个看似合理的段落 | 候选结果重排序 | 衡量答案支持度和额外延迟 |
分块数量、候选结果上限和排序阈值应根据评估结果确定。向量数据库或重排序器本身并不能证明答案正确。
区分答案与操作
检索到的文档和用户消息可能包含与应用程序冲突的指令。应将其视为不可信数据。仅允许使用已命名的工具,在后端验证参数,执行记录访问控制,并要求人工确认具有重要影响的变更。记录结果时,不要保留不必要的个人数据。
使用统一测试集选择模型
使用受支持的答案、缺少证据时的处理行为、工具调用正确性、响应时间和每个已完成任务的成本,对候选模型进行比较。备用方案必须保留相同的访问权限和证据要求。应单独验证备用方案;切换供应商并不能证明质量或数据处理方式等效。
明确交付证据
要求提供经过审核的问题集、权限测试、来源引用、过时来源处理方式、失败路由以及运营成本观察结果。在确定架构前,请查看 AI API 集成,并发送经编辑隐去敏感信息的知识与工作流简介。
