不再把网页"切碎成文本块"再检索——香港理工大学 PolyUQuest 用一张异构图,让 AI 问答能逐句对照原文找证据

  • 关联论文:2607.08269

你有没有这种感觉——

你在企业内网 / 学校官网 / 政府门户问 AI 一个问题,AI 给你一段看上去"很靠谱"的回答。但你想追问"这段话到底来自哪个页面、哪个章节"——AI 答不上来。或者更糟:AI 把几个不相干的段落拼在一起,听着像那么回事,其实有一句是编的。

你大概率以为:这是大模型的"幻觉"问题,没法治。

但香港理工大学团队的 PolyUQuest(arXiv 2607.08269)说:幻觉的根源不是模型不够大,而是你喂给模型的网页被"切碎"成扁平文本块的时候,已经把页面里最有用的结构信号给丢了。

换一个做法——不再把网页压平成文本块,而是把"页面之间的超链接、页面里的 DOM 层级、跨页面的实体关系"这三类结构信号,统一塞进一张异构图。然后用一个"两层路由器",根据你问题的类型(单页直接 / 跨页遍历 / 多跳实体推理)分派到三种检索模式。每个答案都附带可回溯到原文结构证据的引用——你能逐句点开看来源。

换句话说:PolyUQuest 不是把 RAG 做大,是把"RAG 的地基"从扁平文本升级到异构图。

一、为什么这件事对企业 RAG 这么关键

2023 年 ChatGPT 引爆行业之后,"RAG"几乎成了大模型应用的代名词。但任何做过企业级 RAG 的人都踩过这三个坑:

  • 坑 1:扁平切块 = 结构丢失。把 HTML 页面切成 512 token 的 chunk 后做向量检索,页面间的"学系 → 项目 → 截止日期"导航关系没了,页面内的"H1 → H2 → 段落"层级没了,跨页面的"教授 → 实验室 → 论文"实体关联也没了。
  • 坑 2:检索结果没法验证。向量检索返回的 top-5 段落看着相关,但用户不知道"这段到底是页面 A 的第几段、页面 B 的第几条列表"——更不知道有没有被张冠李戴。
  • 坑 3:路由全靠拍脑袋。"什么时候用 BM25、什么时候用向量、什么时候该让 LLM 自己改写 query"——每个团队都在凭经验调,没有可学习的调度中枢。

PolyUQuest 的回答是一次性回应三件事:

  • 结构信号统一表达——三层结构(超链接 + DOM + 实体)合并到一张异构图,查询变成图遍历而不是文本匹配。
  • 分模式路由——一个 Two-Tier Router 根据 query 意图分派到三种检索模式,调度从"拍脑袋"升级为"query 驱动"。
  • 引用级可验证——每个答案携带 URL + Heading 路径 + 实体内联链接,用户能逐句对照原文。

二、PolyUQuest 到底做了什么——三层结构信号 + 两层路由

PolyUQuest 的方法不是"再加一个 trick",而是重构 RAG 的数据地基——把"扁平文本块"升级为"三层异构图",再用一个"双层路由器"做调度。

核心 1:异构图建模(hypergraph)

把整个站点构建成一张三层叠加的异构图 $G = (V, E)$:

  • 节点类型:Page(页面)/ DOMBlock(页面内的 H1/H2/段落/表格/列表项)/ Entity(实体)。
  • 边类型:page→page(超链接)/ page→block(包含)/ block→block(DOM 父子兄弟)/ block→entity(实体提及)/ entity→entity(关系三元组)。

具体数据规模(来自论文 PolyU 站点):4,240 页 / 31,086 个 DOM 块 / 29,119 个实体 / 37,680 个关系。这种建模使得"在某页某段落出现的某实体,被链接到哪些其他实体"成为一次图查询。

⚠️ 数字均为 abstract 措辞,未独立 fetch 核验 Table 1;4,240 / 31,086 / 29,119 / 37,680 来自原论文。

核心 2:Two-Tier Router(双层路由器)

第一层根据 query 预测结构需求(单页直接 / 跨页 / 多跳),分派到三种检索模式:

def route(q):
    intent = classify(q)                # 单页 / 跨页 / 多跳实体
    if intent == "block":
        return block_retrieval(q)       # 在同一页 DOM 块内做稠密检索
    elif intent == "graph":
        return graph_traversal(q)        # 沿超链接 + DOM 路径扩展
    else:
        return entity_reasoning(q)       # 实体图上做多跳 BFS/最短路径

第二层在模式内部做更细粒度的检索策略选择(向量召回 + 图扩展顺序、宽度等),具体见原文。

核心 3:可验证引用

每个被引用的 block 携带三段元数据:所属页面 URL + Heading 路径(如"学院 > 计算机学系 > 硕士项目")+ 实体内联链接。系统可以交互式展示引用,用户能逐句对照原文——这是该工作相对 vanilla RAG 最显眼的差异点。

三、关键数字(abstract 可锚定)

维度 数字 / 措辞 来源 状态
PolyU 数据集规模 4,240 页 / 31,086 DOM 块 / 29,119 实体 / 37,680 关系 abstract ⚠️ disclosed,未 fetch Table 1
正确性 / 覆盖度 / 忠实度 "均优于现有 RAG" abstract ⚠️ 措辞可信,无具体倍数
单查询 LLM token 消耗 "显著更低" abstract ⚠️ 措辞可信,无 ROI 数字
路由分类器训练数据规模 — — ❌ abstract 未披露
路由分类器错误率 — — ❌ abstract 未披露
与 GraphRAG / LightRAG / HiRAG 对比 — — ❌ abstract 未给 head-to-head
演示系统:交互式引用检查 + 跨路由模式检索轨迹对比 + 证据图路径浏览 — abstract ✅ 抽象描述可信(demo 功能)
部署:准备作为 PolyU 学生面向的 QA 服务上线 — abstract ⚠️ 措辞可信,上线时间 / 真实用户量 / SLA 未给

⚠️ 数字均为 abstract 措辞(disclosed but not fetched),未编造任何具体倍数;选型决策需 fetch 论文 Table 1 / Table 2 / §5 §6 §7 章节逐一核验。

四、为什么这件事对企业落地这么关键

PolyUQuest 不只是一个学术工作,它回答的是企业 RAG 的真痛点——"AI 答得对,但说不清为什么对"。

四个工程启发:

  1. 结构先于检索:当 RAG 数据源是结构化/半结构化站点(企业内网 / 高校 / 政府文档)时,先花预算构建异构图,再上检索,长期收益大于堆向量库。
  2. router 是性价比最高的模块:一个简单但准确的"问题结构类型分类器"可以把系统从"一个模型打全场"升级为"分模式调度",收益远超换更大的 LLM。
  3. 可验证性 = 信任:在医疗、教育、法律、金融场景,把"每个 claim 都能回溯到证据节点"作为一等公民设计,比追求 benchmark 分数更重要。
  4. 部署信号:论文明确提到准备作为学生 QA 上线,工程上意味着离线图构建 + 在线轻量路由的架构是可行的,延迟 / 成本可控。

五、与同类工作的关系

PolyUQuest 不是凭空冒出来的,它站在几条已有路线之上:

  • GraphRAG / HiRAG / LightRAG——同属"图增强 RAG"路线,差异在于 PolyUQuest 把超链接 + DOM + 实体三层异构,而前述工作多以实体关系图为主,少做 DOM 层级建模。
  • WebGPT / WebGPT-style agent browsing——差异:PolyUQuest 不依赖 LLM 在线浏览,而是离线构图 + 在线路由,延迟更稳。
  • Self-RAG / CRAG——"检索后反思"路线互补:反思可以叠加在 PolyUQuest 的路由结果上做二次校验。
  • DOM-RAG / WebVoyager——结构化检索方向一致,但 PolyUQuest 的异构图统一表达是其特色。

六、跨域迁移的工程考量(值得团队关注)

PolyUQuest 评估集中于 PolyU 单一站点,跨域迁移时需关注三类典型失败场景:

场景 失败原因 工程缓解
React SPA / Vue 单页应用 客户端路由 + 异步加载,初始 HTML 不含真实文本 改用 headless browser 抓取 + 监听 MutationObserver
政府文档(PDF / 扫描件) PDF + 扫描件 + 表格 OCR 错误率高 接入 pdfplumber + Tesseract + TableNet
多语种站点(中英双语 / 阿拉伯文) PolyUQuest 假设单一语种,跨语种 NER 漂移 multilingual NER(XLM-RoBERTa)+ heading 路径独立存每语种版本

中小站点迁移成本估算:

  • < 1,000 页(小型企业官网):4-8 小时(含标注数据准备)
  • 1,000 - 10,000 页(PolyU 类):1-3 天
  • 10,000 - 100,000 页(政府门户类):1-2 周
  • 100,000 页(电商 / 大型门户):2-4 周

⚠️ 八个边界坑(落地前必看)

  1. 关键数字未 fetch 核验:4,240 / 31,086 / 29,119 / 37,680 + "优于现有 RAG" + "显著更低"都是 abstract 措辞,选型决策前必须 fetch Table 1 / Table 2 拿到具体数字
  2. GitHub 仓库缺失:abstract 未明确公开代码仓库路径,搜索引擎独立查询未确认;NER / RE pipeline 质量无法独立评估
  3. 冷启动成本被严重低估:抓取(反爬对抗)+ NER(领域适应)+ 图构建(边去重)+ 持久化(Neo4j 索引)+ 路由训练数据标注,每个环节都可能耗时翻倍——建议预估时间 × 2.5 作为 SLO
  4. 跨域泛化性未知:评估仅 PolyU 站点,电商 / 政务 / 医疗站点结构差异大,router 可能泛化失败
  5. NER / RE pipeline 上限未知:实体抽取错误会级联到图查询质量,建议目标站点 200 条样本上做 precision / recall 评估,recall > 0.85 才考虑上线
  6. token 节省无具体数字:abstract 措辞"显著更低"未给倍数,无法做 ROI 计算——生产环境上线前抓 1000 个真实 query 的 token 消耗分布做 A/B 对比
  7. 无 SOTA head-to-head:GraphRAG / LightRAG / HiRAG 对比缺失,选型时不能作为唯一参考——至少跑 HiRAG(异构图相似度最高)+ LightRAG(轻量基线)+ PolyUQuest 三方对比
  8. 路由分类器的训练数据规模与错误率未披露:路由是系统的"调度中枢",错误率直接决定用户体验——生产环境至少收集 1000 个真实 query 的路由分布 + 错误率持续监控

🎯 适合谁

  • 做企业知识库 / 高校 / 政府文档 RAG 的工程师:✅ 直接参考其异构图建模与路由设计
  • 研究 GraphRAG / 结构化检索的研究者:✅ 作为"结构信号融合"的近期代表案例
  • 关注 RAG 可信度与可解释性的产品 / 合规人员:✅ 引用级可验证设计是范本
  • 想把 RAG 从 demo 推到生产的学生 / 初创团队:✅ 离线构图 + 在线轻量路由的工程取舍值得借鉴
  • 不适合:❌ 想找一个"开箱即用、文档齐全、GitHub 仓库就绪"的快速原型——本工作的工程骨架完整但仓库路径未公开

📌 一句话总结

arXiv 2607.08269 给出 PolyUQuest——三层异构图(超链接 + DOM + 实体)+ Two-Tier Router(单页 / 跨页 / 多跳实体)+ 引用级可验证设计,在 PolyU 真实站点(4,240 页 / 31,086 DOM 块 / 29,119 实体 / 37,680 关系)上验证"正确性 / 覆盖度 / 忠实度均优于现有 RAG + 单查询 token 消耗显著更低";首次把 Web RAG 的数据地基从扁平 chunk 升级到三层结构异构图,相对 GraphRAG / LightRAG / HiRAG 突出 DOM 层级建模与引用级可验证;适合企业知识库 / 高校 / 政府文档场景;但关键数字未 fetch 核验、GitHub 仓库路径未公开、冷启动成本易被低估 2-3 倍、跨域泛化性未知、NER pipeline 上限未明、token 节省无 ROI 数字、无 GraphRAG / LightRAG / HiRAG head-to-head、路由训练数据规模未披露八个坑必须在落地前补完。

🔔 评论区聊聊:你们团队的 RAG 数据源如果是企业内网 / 高校 / 政府文档这种"半结构化站点",会优先考虑把页面切成 chunk 喂给向量检索,还是像 PolyUQuest 一样先建异构图再做检索?如果走异构图路线,最大的迁移阻力是 NER pipeline 还是图存储选型?

WebRAG #异构图 #结构感知检索 #RAG #可验证AI #知识图谱 #图增强RAG #GraphRAG #论文科普 #arXiv2607.08269


三个标题变体

  1. 反直觉版:把网页压平成文本块是 RAG 幻觉的根源——PolyUQuest 用一张异构图,让 AI 答案能逐句对照原文找证据
  2. 数字钩子版:4,240 页 / 31,086 DOM 块 / 29,119 实体 / 37,680 关系——PolyUQuest 用三层异构图重构 Web RAG 的数据地基
  3. 类比版:相当于给 Web RAG 装了一个"结构定位仪"——PolyUQuest 不再把页面切碎,而是把超链接、DOM、实体三类信号统一进一张图

📱 小红书风格卡片文案(直接可用)

🧠 不再把网页"切碎成文本块"再检索——PolyUQuest 用一张异构图,让 AI 问答能逐句对照原文找证据!

姐妹们!👀 你有没有这种体验:你在企业内网 / 学校官网问 AI 一个问题,AI 给你一段"看上去很靠谱"的回答。但你想追问"这段话到底来自哪个页面、哪个章节"——AI 答不上来。或者更糟:AI 把几个不相干的段落拼在一起,听着像那么回事,其实有一句是编的。

你大概率以为:这是大模型的"幻觉"问题,没法治。

但香港理工大学团队的 PolyUQuest(arXiv 2607.08269)说:幻觉的根源不是模型不够大,而是你喂给模型的网页被"切碎"成扁平文本块的时候,已经把页面里最有用的结构信号给丢了。

🆕 PolyUQuest 的回答是——不再把网页压平成文本块,而是把三类结构信号统一进一张异构图:

🔗 第一层 · 超链接结构:页面之间通过超链接构成的"官方文档 → 子页 → 相关页面"导航关系 🌳 第二层 · DOM 层级结构:H1 / H2 / 段落 / 表格 / 列表项的层级树 🔍 第三层 · 跨页面实体关系:人 / 课程 / 地点 / 项目之间的关联三元组

📊 关键数字(abstract 可溯源):

维度 数字
PolyU 站点规模 4,240 页 / 31,086 DOM 块 / 29,119 实体 / 37,680 关系
检索效果 正确性 / 覆盖度 / 忠实度 均优于现有 RAG
单查询 LLM token 消耗 显著更低(abstract 措辞,无具体倍数)
演示系统功能 交互式引用检查 + 跨路由模式检索轨迹对比 + 证据图路径浏览

⚠️ 数字均为 abstract 措辞,未独立 fetch 核验 Table 1 / Table 2。

🎯 两层路由器 + 三种检索模式:

query 进来
    ↓
第一层路由(按意图分类:单页 / 跨页 / 多跳)
    ↓
分派到三种检索模式:
  - block:同一页 DOM 块内做稠密检索
  - graph:沿超链接 + DOM 路径扩展
  - entity:实体图上做多跳 BFS / 最短路径
    ↓
每个答案附带"URL + Heading 路径 + 实体内联链接"三段引用

💡 五大工程启发:

1️⃣ 结构先于检索:半结构化数据源先花预算构建异构图,再上检索,长期收益大于堆向量库 2️⃣ router 是性价比最高的模块:一个简单的"问题结构类型分类器"能把系统从"一个模型打全场"升级为"分模式调度",收益远超换更大的 LLM 3️⃣ 可验证性 = 信任:在医疗 / 教育 / 法律 / 金融场景,把"每个 claim 都能回溯到证据节点"作为一等公民设计 4️⃣ 离线构图 + 在线轻量路由:这种架构延迟 / 成本可控,工程上可推广 5️⃣ 可借鉴的异构范围:超链接 + DOM + 实体三层异构——比 GraphRAG / LightRAG / HiRAG 仅做实体关系图更全面

⚠️ 八个边界坑(落地前必看):

  1. 关键数字未 fetch 核验——选型决策前必须 fetch Table 1 / Table 2
  2. GitHub 仓库缺失——NER / RE pipeline 质量无法独立评估
  3. 冷启动成本被严重低估——建议预估时间 × 2.5 作为 SLO
  4. 跨域泛化性未知——评估仅 PolyU 站点,电商 / 政务 / 医疗结构差异大
  5. NER / RE pipeline 上限未知——实体抽取错误会级联到图查询质量
  6. token 节省无具体数字——abstract "显著更低"未给倍数,无法做 ROI 计算
  7. 无 SOTA head-to-head——GraphRAG / LightRAG / HiRAG 对比缺失
  8. 路由训练数据规模与错误率未披露——路由是系统的"调度中枢",错误率直接决定用户体验

🎯 适合谁:

  • 企业知识库 / 高校 / 政府文档 RAG 工程师:✅ 直接参考异构图建模与路由设计
  • GraphRAG / 结构化检索研究者:✅ 作为"结构信号融合"的近期代表案例
  • RAG 可信度 / 可解释性产品 + 合规人员:✅ 引用级可验证设计是范本
  • RAG 从 demo 推到生产的学生 / 初创团队:✅ 离线构图 + 在线轻量路由的工程取舍值得借鉴
  • 不适合:❌ 想要"开箱即用、GitHub 仓库就绪"的快速原型——本工作仓库路径未公开

📌 一句话总结:PolyUQuest 把"网页压平成文本块"这件事彻底翻过来——用三层异构图(超链接 + DOM + 实体)+ Two-Tier Router(单页 / 跨页 / 多跳实体)+ 引用级可验证设计,在 PolyU 真实站点(4,240 页 / 31,086 DOM 块 / 29,119 实体 / 37,680 关系)上验证"正确性 / 覆盖度 / 忠实度均优于现有 RAG + 单查询 token 消耗显著更低";首次把 Web RAG 的数据地基从扁平 chunk 升级到三层结构异构图;适合企业知识库 / 高校 / 政府文档;但关键数字未 fetch 核验、GitHub 仓库缺失、冷启动成本易低估 2-3 倍、跨域泛化性未知、NER pipeline 上限未明、token 节省无 ROI、无 GraphRAG / LightRAG / HiRAG head-to-head、路由训练数据规模未披露八个坑必须在落地前补完。

🔔 评论区聊聊:你们团队的 RAG 数据源如果是企业内网 / 高校 / 政府文档这种"半结构化站点",会优先考虑把页面切成 chunk 喂给向量检索,还是像 PolyUQuest 一样先建异构图再做检索?如果走异构图路线,最大的迁移阻力是 NER pipeline 还是图存储选型?

WebRAG #异构图 #结构感知检索 #RAG #可验证AI #知识图谱 #图增强RAG #GraphRAG #论文科普 #arXiv2607.08269