生成阶段:引用、拒答与忠实性约束

03-重排与上下文工程 核心 约 15 分钟 #引用#拒答#prompt 设计#忠实性 更新 2026-10-02
当前状态:未学
本文基于模型知识整理(生成时未联网核对),关键结论建议对照经典文献复核。

一句话定义

生成阶段通过 prompt 约束把 LLM 从"自由作答者"改造成"有据引述者":强制引用编号让每个论断可核查,显式拒答授权让"不知道"成为合法输出,答案与引用的程序校验闭环兜住忠实性下限。

为什么重要

检索和重排做得再好,最后一步模型不忠实照样前功尽弃。引用与拒答同时是用户信任与合规审计的基础——企业落地 RAG 时,"答案带出处、查不到就说没有"通常是被验收方明确要求的第一特性。

前置知识

kp-003(幻觉机理)、kp-014(上下文结构)。

核心概念

  • 引用约束:指令"每个事实性论断后标注支持它的来源编号 [N]";程序校验答案中出现的编号必须存在于上下文。
  • 拒答授权:显式告知"上下文不足以回答时,回复'知识库中未找到相关信息',不得编造"——不给许可,模型默认硬答。
  • 忠实性指令:禁止使用上下文之外的知识作答、禁止合并多个来源时改变原意、数字与条款必须原样引用。
  • 答案结构:先结论后依据、引用跟随论断、列表化复杂内容——格式指令影响可读性与核查效率。
  • 兜底策略链:重排分数低 → 拒答;答案引用校验失败 → 重试或降级话术;检测到超纲问题 → 引导到人工。

原理与机制

为什么"引用编号"能压制幻觉:要求标注 [N] 迫使模型在生成每个论断时"指认"证据位置,实质是把自由生成任务变成受限的指认-复述任务——出错空间从"整个参数记忆"缩小到"上下文内选对块"。配合程序校验(编号存在性 + 块内容与论断的包含性检查),可以把明显编造的答案拦截在出口处重试。

拒答阈值从哪来:拒答不是纯 prompt 问题,需要检索侧信号配合——重排最高分、检索分数与历史分布的分位数、(可选)无引用答案的占比。阈值用标注集校准:宁可误拒(答"没找到"但库里有)也不误答(编造),是大多数企业场景的风险偏好;两个方向的错误率都要在评测集上量化(kp-016)。

多轮对话中的约束保持:长对话后期模型容易"忘了引用规则",需要每轮重新注入系统指令或使用结构化消息(引用作为结构化字段而非正文文本),并对每轮输出做同一套校验。

图示

系统指令: 只依据[1]~[N]作答;每个论断标[N];不足则答"未找到相关信息"
生成: "年假为5–15天[1],需提前3天在OA申请[2]。"
校验: [1][2] 均存在于上下文? 是 → 通过
      引用[3]不存在 → 程序拦截 → 重试/降级话术
检索分数 < 阈值 → 直接走拒答分支

实例或案例

  • 企业知识助手上线验收标准常为:引用可点开率 100%、无引用答案占比 < 5%、拒答准确率(该拒的拒了)> 90%——三条全部依赖本条的机制。
  • 金融合规问答:要求条款原文引用(不得改写),prompt 附加"条款必须逐字引用并标注条款号"。

常见误区

  • 误区一:"prompt 里写了'不要编造'就够"。口头禁令对强指令模型有效但对边界问题依然漏;必须有程序校验与重试兜底形成闭环。
  • 误区二:"拒答越少越好"。用拒答率考核团队会导致阈值被调松、幻觉进答案——正确指标是"该拒/不该拒"的混淆矩阵(kp-016)。
  • 误区三:"引用了就等于正确"。模型可能把 [2] 标在与其内容无关的论断上;引用存在性校验之外还需抽检"引用-论断"相关性(可用 LLM 判分)。

与其他知识点的关系

  • kp-003:幻觉的两类根因在本层收口。
  • kp-014:引用编号体系在组装层建立。
  • kp-016:忠实度与拒答准确率的评测定义。
  • kp-032:提示注入会污染"证据",需要输入侧防护配合。

自测题

  1. 引用编号为什么能降低幻觉?

答:把自由生成变成"指认证据-复述"的受限任务,出错面从参数记忆缩小到上下文选择;配合程序校验可拦截编造输出。

  1. 拒答阈值如何确定?

答:用标注集校准检索/重排分数与拒答决策的映射,按"宁可误拒不误答"的业务风险偏好选工作点,并量化两类错误率。

  1. 多轮对话中引用约束为什么会退化?怎么办?

答:长上下文中系统指令影响衰减;每轮重注入指令或改用结构化字段传递引用,并对每轮输出统一校验。

延伸阅读

  • Liu 等, "Evaluating Verifiability in Generative Search Engines"(2023,引用核查的评测框架)。
  • Anthropic 文档:citations / RAG prompt 设计。
  • Gao 等 RAG 综述(2023)生成增强章节。