论文信息RAGShield: Detecting Numerical Claim Manipulation in Government RAG Systems作者KrishnaSaiReddy Patil 等发表arXiv:2604.003872026年4月核心贡献揭示所有基于嵌入的 RAG 防御的根本盲点嵌入编码主题而非数值精度 提出声明级验证框架 RAGShield 在 430 个真实攻击中实现 100% 检测率1. 想象一下这个场景你正在使用美国国税局的 AI 助手查询税收信息。你问“单身申报者的标准扣除额是多少”AI 助手回答“15,500。”但实际上正确的金额应该是15,000。那 500 的差异从何而来攻击场景一名具有系统访问权限的内部人员或 compromised 账户修改了知识库中的文档——将标准扣除额从 15,000 改为 15,500 。这是一个微小的数值改动但它通过了来源验证文档签名有效通过了嵌入相似度检测改动太小余弦相似度仍为 0.9998导致公民申报错误的扣除额造成直接的财务损失这就是这篇论文研究的核心问题当 RAG 知识库中的数值声明被恶意篡改时如何检测这种操纵。2. 核心发现嵌入层的根本盲点2.1 令人震惊的实验结果论文作者进行了一个简单但揭示性的实验测试将 “the standard deduction for single filers is15,000” 改为 “the standard deduction for single filers is65,000”增加了 50,000即 333% 的变化测量计算原始文本和篡改文本的嵌入向量余弦相似度结果余弦相似度 0.9998改动幅度余弦相似度能否被检测1~0.9998❌ 不能500~0.9998❌ 不能5,000~0.9998❌ 不能50,000~0.9998❌ 不能理解要点嵌入模型编码的是这里有一个数字而不是这个数字的值是多少。改变数字的值几乎不改变嵌入向量。2.2 敏感性差距定理论文形式化证明了这一现象Theorem 1敏感性差距在 174 个操纵对和两个嵌入模型上的平均敏感性差距为1,459 倍含义嵌入空间中的 1% 变化对应数值声明值中的 1,459% 变化即约 14.59 倍。换言之数值声明需要变化约 14.59 倍如从 1,000 变为 14,590才能在嵌入空间中产生 1% 的扰动。嵌入对数值变化极度不敏感。推论所有基于嵌入的 RAG 防御RobustRAG、TrustRAG、RAGPart、RAGDefender都无法检测数值声明操纵无论检测阈值如何设置。实际例子这就像银行的验钞机只能识别这是一张纸币但无法区分真钞和假钞的面额是否被篡改。3. 为什么现有防御措施都失败了论文逐一分析了现有防御措施的失效机制3.1 RobustRAG [3]隔离-聚合策略机制独立检索 top-k 段落生成隔离响应通过多数投票聚合。失败原因篡改段落与原始段落语义相同都会出现在 top-k 中在包含 1000 段落的大型语料库中多个 top-k 段落讨论相同数值声明的概率很低篡改段落往往是唯一讨论该主题的段落多数投票无效3.2 TrustRAG [5]聚类 LLM 自评估机制聚类检索段落移除异常簇使用 LLM 自评估检测不一致。失败原因阶段 1 聚类篡改段落与原始段落聚在同一簇余弦相似度 0.9998无法分离阶段 2 LLM 自评估研究已表明 LLM 在跨段落比较数值时不可靠尤其是当数字嵌入在相同文本中时3.3 RAGPart [6]文档分区机制将语料库分区从每个分区独立检索。失败原因随机 2 路分区下篡改和原始段落有 50% 概率在同一分区即使在不同分区聚合步骤需要在分区结果间比较特定数值而 RAGPart 不进行这种比较3.4 RAGDefender [4]质心距离过滤机制移除远离检索集合质心的段落。失败原因篡改段落与原始段落的嵌入几乎相同其质心距离与合法段落无法区分。共同失败模式所有防御措施都在嵌入表示上操作而嵌入编码语义主题而非数值精度。4. RAGShield 解决方案声明级验证RAGShield 的核心思想绕过嵌入层直接在提取的数值声明上进行验证。4.1 系统架构概览输入文档/检索段落 ↓ [1] 来源验证阻挡未签名/伪造文档 ↓ [2] 数值声明提取NER 正则 ↓ [3] 跨源声明验证多源比对 ↓ [4] 时间声明追踪授权变更日历检查 ↓ [5] 危害感知响应置信度指示器 正确上下文 ↓ 向公民返回已验证的响应关键差异蓝色层来源验证阻挡外部注入攻击绿色/黄色层声明级处理检测嵌入防御无法发现的数值操纵。4.2 数值声明提取引擎声明定义c (e, a, v, u)e(entity)实体如 “standard deduction”、“Social Security benefit”a(attribute)属性限定符如 “single filer”、“married filing jointly”v(value)数值如 15000、943u(unit)单位如 “$”、“/month”、“%”两阶段实体解析算法# 阶段 1独立实体检测每句forsentenceindocument:entities[i]detect_entity(sentence)# 120个领域特定模式# 阶段 2最近邻实体解析# 前向传播从早期句子携带实体上下文foriinrange(len(sentences)):ifentities[i]isnotNone:forward_entityentities[i]else:entities[i]forward_entity# 继承上下文# 后向填充解析第一个实体提及前的句子foriinrange(len(sentences)):ifentities[i]isNone:entities[i]first_known_entityelse:break模式覆盖120 个领域特定正则模式涵盖税收扣除tax deductions退休限额retirement limits社会保障福利Social Security benefits医疗保险保费Medicare premiums申报门槛filing thresholdsIRA/Roth 限额铁路退休railroad retirement工作表说明worksheet instructions30 其他政府特定类别提取性能精确率83.3%召回率100%F190.9%实体检测率99.8%在 2,742 个真实 IRS 段落上实际例子输入The standard deduction for single filers is 15,000. 输出 entity: standard deduction attribute: single filer value: 15000 unit: $4.3 跨源声明验证声明注册表SQLite 数据库按声明键 (e, a, u) 索引。验证算法三级回退策略defverify_claim(claim,registry):# 级别 1精确键匹配matchesregistry.exact_match(claim.entity,claim.attribute,claim.unit)# 级别 2实体单位匹配更宽泛ifnotmatches:matchesregistry.entity_unit_match(claim.entity,claim.unit)# 级别 3值邻近匹配最宽泛±15%ifnotmatches:matchesregistry.value_proximity(claim.value,claim.unit,claim.entity,tolerance0.15)# 排除同一来源的声明cross_source[mforminmatchesifm.source!claim.source]iflen(cross_source)2:returnSUSPICIOUSifvalue_discrepancy_existselseUNVERIFIED# 计算一致性consensustrust_weighted_consensus(cross_source)agreement_ratiocount_matching_values(cross_source,consensus)/len(cross_source)ifagreement_ratio0.8:returnVERIFIEDelifagreement_ratio0:returnSUSPICIOUSelse:returnDISPUTED验证状态VERIFIED已验证一致性 ≥ 0.8≥ 2 个来源一致UNVERIFIED未验证 2 个独立来源无差异DISPUTED有争议一致性 0.5来源不一致SUSPICIOUS可疑一致性 0 或单一来源差异与可用证据矛盾理解要点这就像交叉验证——如果多个独立来源都说标准扣除额是 15,000而新来的文档说是 15,500就标记为可疑。4.4 时间声明追踪问题政府数值会合法变更如年度通胀调整如何区分合法更新和未授权操纵解决方案领域特定的授权变更模型# 政府数值变更日历示例AUTHORIZED_CHANGE_CALENDAR{standard_deduction:{update_frequency:annual,typical_month:10,# IRS 通常在 10 月公布下一年数额typical_sources:[IRS Publication 501,IRS News Release]},social_security_benefit:{update_frequency:annual,typical_month:10,typical_announcement:COLA adjustment},401k_contribution_limit:{update_frequency:annual,typical_month:10}}deftemporal_check(claim,previous_claims,calendar):entity_typeclassify_entity_type(claim.entity)schedulecalendar[entity_type]# 检查是否在预期的更新窗口内ifis_within_expected_update_window(schedule):# 检查变更幅度是否合理如通胀调整通常为 2-8%ifis_reasonable_magnitude(claim,previous_claims,max_change0.10):returnLIKELY_LEGITIMATE_UPDATEelse:returnSUSPICIOUS_MAGNITUDEelse:# 在预期窗口外变更returnSUSPICIOUS_TIMING性能在 8 个时间测试中实现 100% 准确率。5. 实验验证真实政府文档上的诚实评估5.1 实验设置语料库2,742 个真实 IRS 段落来自 5 份官方出版物Publication 501依赖、标准扣除和申报信息Publication 590-AIRA 贡献Publication 590-BIRA 分配Publication 915社会保障和等价铁路退休福利2024 年税务年度指令和表格攻击生成430 个基于真实文档内容的数值操纵攻击标准扣除额操纵社会保障福利率操纵IRA 贡献限额操纵申报门槛操纵Medicare 保费操纵基线防御无防御Vanilla RAGRobustRAGTrustRAGRAGPartRAGDefender仅来源验证5.2 核心结果防御措施攻击成功率 (ASR)检测率Vanilla RAG100%0%RobustRAG79-90%10-21%TrustRAG79-90%10-21%RAGPart79-90%10-21%RAGDefender79-90%10-21%仅来源验证100%0%RAGShield0.0%100%关键发现RAGShield 检测到所有 430 个攻击95% CI [0%, 1%] ASR基于嵌入的防御措施漏掉 79-90% 的相同攻击来源验证对内部攻击完全无效攻击者拥有有效签名密钥5.3 失败模式分析基于嵌入防御的共同失败模式数值变化不可见50,000 变化产生余弦相似度 0.9998语义一致性篡改后的段落与原始段落在主题上完全相同孤立声明问题特定数值声明往往只出现在一个段落中无其他段落可供交叉验证RAGShield 的成功因素直接值比较绕过嵌入层比较提取的数值跨源验证多个独立来源必须一致实体链接两阶段解析确保数值与正确实体关联时间感知区分合法年度更新和可疑变更6. 工程实践启示6.1 评估你的 RAG 系统现有 RAG 是否有此漏洞检查清单 □ 系统是否回答涉及精确数值的查询金额、限额、费率、百分比 □ 知识库是否可由内部人员或 compromised 账户修改 □ 防御是否仅基于嵌入相似度或来源验证 □ 是否有跨文档数值一致性检查 □ 是否有时间合理性验证 如果前 3 项为是后 2 项为否 → 你的系统可能有漏洞简单测试在测试知识库中将一个数值声明如 “15,000”改为相近但不同的值如 “15,500”查询该数值观察系统是否返回篡改后的值而未标记异常6.2 实施 RAGShield 的渐进式策略阶段 1数值声明提取轻量级对所有进入知识库的文档实施声明提取classSimpleClaimExtractor:def__init__(self):# 基础模式金额、百分比、月率self.patterns{dollar_amount:r\$[\d,](?:\.\d{2})?,percentage:r\d(?:\.\d)?%,monthly_rate:r\$[\d,](?:\.\d{2})?/month,year:r20\d{2}}defextract(self,text):claims[]formatchinre.finditer(self.patterns[dollar_amount],text):# 提取周围上下文作为实体线索contexttext[max(0,match.start()-100):min(len(text),match.end()100)]claims.append({value:match.group(),position:match.start(),context:context})returnclaims阶段 2跨文档一致性检查维护一个声明注册表检查新文档是否与现有声明冲突classClaimRegistry:def__init__(self):self.claims{}# (entity, attribute, unit) - list of claimsdefadd_claim(self,claim):key(claim[entity],claim[attribute],claim[unit])ifkeyinself.claims:# 检查与现有声明的一致性forexistinginself.claims[key]:ifabs(existing[value]-claim[value])self.epsilon:self.flag_discrepancy(existing,claim)self.claims.setdefault(key,[]).append(claim)阶段 3完整 RAGShield 架构集成两阶段实体解析实施时间追踪日历添加危害感知响应向用户显示置信度指示器6.3 领域特定的模式扩展金融/银行领域FINANCIAL_PATTERNS{account_balance:rbalance of \$[\d,](?:\.\d{2})?,interest_rate:r(?:APR|APY) of \d(?:\.\d)?%,transaction_limit:r(daily|monthly) limit of \$[\d,],fee_amount:rfee of \$[\d,](?:\.\d{2})?}医疗/保险领域HEALTHCARE_PATTERNS{copay_amount:rcopay(?:ment)? of \$[\d,],deductible:rdeductible of \$[\d,],coverage_percentage:r\d% coverage,out_of_pocket_max:rout[- ]of[- ]pocket maximum of \$[\d,]}6.4 与现有防御措施的集成分层防御策略第一层来源验证阻挡外部注入 ↓ 第二层嵌入级检测RobustRAG/TrustRAG语义异常 ↓ 第三层声明级验证RAGShield数值操纵 ↓ 第四层LLM 自评估生成前最终检查关键洞察RAGShield 不是要取代现有防御而是填补数值操纵这一特定盲点。7. 局限与未来方向7.1 论文局限领域特定性模式针对美国政府文档设计需要 effort 迁移到其他领域内部攻击者假设假设攻击者具有文档修改权限不解决外部注入攻击由来源验证层处理声明提取召回率虽然达到 100%但依赖于政府文档的相对结构化格式非结构化文本更具挑战性时间模型简单性授权变更日历需要手动维护无法自动适应新类型的政府数值7.2 未来研究方向自动模式学习从标注数据中学习提取模式而非手工编写跨领域迁移开发领域无关的数值声明提取方法动态时间建模使用机器学习预测数值更新的合理时间窗口实时声明追踪在流式文档摄入时实时验证声明而非批量处理与其他攻击向量的结合研究数值操纵与其他攻击如注入攻击的协同效应8. 小结三个关键 Takeaway Takeaway 1嵌入层无法保护数值完整性嵌入模型编码这里有一个数字而非这个数字的值50,000 的变化产生的余弦相似度变化小于 0.01 的变化基于嵌入的防御措施RobustRAG、TrustRAG、RAGPart、RAGDefender对数值操纵完全失效 Takeaway 2声明级验证是必要的补充层必须直接提取和比较数值而非依赖嵌入相似度跨源验证多个独立来源必须一致时间感知区分合法更新如年度通胀调整和可疑操纵实体链接确保数值与正确的实体和属性关联 Takeaway 3内部威胁是真实且可防御的来源验证对内部攻击者无效他们拥有有效签名密钥RAGShield 在 430 个真实攻击中检测到 100%而基于嵌入的防御措施漏掉 79-90%如果你的 RAG 系统回答数值查询并且知识库可被内部人员修改你需要声明级验证参考资料原始论文Patil, “RAGShield: Detecting Numerical Claim Manipulation in Government RAG Systems”, arXiv:2604.00387, 2026.[参考https://arxiv.org/abs/2604.00387]相关攻击研究PoisonedRAG (Zhang et al., 2024)5 个恶意文本实现 90% ASRPhantom (Yu et al., 2024)98.2% 检索成功率CPA-RAG (2025)黑盒流畅攻击相关防御研究RobustRAG (Xiang et al., 2024)隔离-聚合策略TrustRAG (Fang et al., 2024)聚类 LLM 自评估RAGPart (Zhang et al., 2024)文档分区RAGDefender (Wang et al., 2024)质心距离过滤