知识库问答 Agent 怎么落地不翻车：切分、检索、溯源、权限

这篇讲什么

知识库问答 Agent（RAG）是企业最常上手的一类 AI 项目：把自己的资料喂给模型，让它按资料回答问题。原理听起来简单，真做起来翻车的地方相当集中，而且几乎都不在模型上。

这篇按落地顺序讲四件事：切分、检索、溯源、权限。每一件都给出常见做法和踩过的坑。

零、比这四件事更靠前的一步：资料本身

在谈切分之前，先确认一件事：你的资料有没有唯一版本。

真实情况通常是这样的——同一条规则在制度文件里写了一遍、在培训材料里写了一遍、在某位同事三年前的邮件里又写了一遍，三处措辞不同。你把三份都入库，模型检索到哪份就按哪份答，于是它今天这么说、明天那么说，用户会认为它在乱编，其实它很忠实地引用了你自己的文件。

所以第一步是列冲突清单，请业务方逐条裁定，裁完的版本才入库。这一步技术替代不了，也不该省。它通常还会顺带解决一个更早就该解决的管理问题。

一、切分：按结构切，不按字数切

最省事的做法是按固定字数硬切，比如每五百字一段。这种做法在格式规整的长文上勉强能用，在制度文件上会出问题：一条规则的条件在上一段、结论在下一段，检索命中了结论那段，模型就会给出一个漏掉前提条件的答案。这类错误特别危险，因为它看起来完全正确。

推荐做法是按文档自身的结构切：标题层级、条款编号、表格行。切完之后每一段带上它的上下文标签——属于哪份文件、哪一章、哪一条。这些标签在检索和溯源两个环节都用得上。

表格要单独处理。把一张表按字数切开，行和表头就分家了，检索出来的片段完全不可读。常见做法是把每一行连同表头拼成一句自然语言再入库。

还有一类容易漏的是扫描件与图片。它们在文件夹里看着和别的文档一样，实际上不做文字识别就一个字也检索不到。资料盘点阶段要把这类单独列出来，识别质量差的还要人工校对，这是实打实的工作量。

二、检索：先看召回，再看排序

答错的原因分两类：检索根本没把正确的段落找出来（召回问题），或者找出来了但模型答偏了（生成问题）。这两类的处理方式完全不同，所以定位第一步永远是把检索结果打出来看。

实践中大部分问题出在召回。常见原因是用户的说法和文档里的说法对不上：文档写「离职交接」，用户问「辞职要办什么手续」。纯向量检索对这类有一定容忍度但并不可靠，常见做法是关键词检索与向量检索一起用，各取一部分结果合并，再按相关性重新排一次序。

另一个常见做法是给检索加一步问题改写：先让模型把用户的口语问题改写成更接近文档措辞的查询，再去检索。代价是多一次模型调用与一点延迟。

检索几条也要调。取太少容易漏，取太多会把不相关的段落塞进上下文，反而干扰模型判断，同时把每次调用的费用推高。这个数字没有通用答案，要用真实问题跑出来。

三、溯源：引用要能点开，还要能点到具体那一段

让答案带引用，是这类系统里性价比最高的一道防线。它有两个作用：用户能自己核对，不必全信模型；出问题时你能立刻判断是资料错了还是模型错了。

要做到这一点，切分时带的上下文标签就必须一路传下来——从检索结果到送进模型的上下文，再到最终答案的引用区。工程上的常见做法是给每个段落一个稳定标识，答案里引用标识，前端渲染时再取回原文。

有一个要求值得写进验收标准：引用必须能定位到段落，不能只给一个文件名。给文件名等于让用户自己去一份几十页的 PDF 里找，那道防线就形同虚设。

还有一件事要提前想：文档更新了，旧答案里的引用怎么办。常见做法是文档版本化，引用带版本号，被引用的段落发生变更时在后台留痕，让维护的人知道哪些问答可能已经过时。

四、权限：过滤要发生在检索这一层

如果知识库里既有公开资料也有分级资料，权限必须在检索阶段就生效——即按当前用户可见的范围去检索，而不是检索完再把不该看的结果丢掉。

后一种做法的问题在于：模型已经看过那些内容了。哪怕最终答案里删掉了原文，模型仍可能在回答中复述其中的信息。过滤发生得越晚，泄漏的路径越多。

实现上的常见做法是给每个段落打上可见范围标签，检索时把用户的角色作为硬过滤条件带进查询。这需要和你既有的账号体系对接，是评估阶段就要确认的事——如果现有系统连角色都没有，那这部分就是一项独立的前置工作。

另外，对话记录本身也是敏感数据。谁能查看别人的会话、日志留多久、导出要不要审批，这些最好在上线前就定下来，而不是出事之后再补。

验收：用真实问题，分类看

别用「感觉答得不错」验收。可执行的做法是：请业务方从历史记录里挑一批真实问题（几十到几百条），准备好人工标准答案，逐条跑，然后把结果分四类——答对、答偏、该转人工却答了、该答却转了人工。

四类的处置完全不同：答偏多半调检索或切分，该转人工却答了要收话术边界，该答却转了人工往往是召回不足或阈值定得太严。分完类再改，比笼统地「调一调提示词」有效得多。

上线之后

RAG 系统不是交付即完结的东西。资料会变、用户的问法会变、业务边界也会变。可持续的做法是把三件事变成日常：定期导出答不上来与被转人工的会话看缺口、文档更新有明确的入库流程、话术边界规则交给最清楚业务风险的人自己维护。

最后仍然是那句：不存在不会答错的模型。这类系统的价值不在于消灭错误，而在于让错误可被发现、可被核对、可被挡在造成损失之前。