DistilVDR: A Compact End-to-End Visual Document Retriever via Dual-Student Distillation

• 类型：arxiv
• 标识：2608.10636
• 链接：https://arxiv.org/abs/2608.10636
• 主分类：rag
• 形态：method
• 被引：0
• 被引来源：Semantic Scholar
• S2被引：0
• 影响力被引：0
• TLDR：This work presents DistilVDR, a 524M end-to-end VDR system distilled bilaterally from a single 8B vision-language teacher under a pointwise cosine alignment loss and matches VDR's text-query and image-document input asymmetry with an asymmetric encoder-only student that concentrates visual capacity on the document side and keeps the query side at 70M parameters.
• 副分类：multimodal
• 待LLM分类：否
• 标题中文：DistilVDR：通过双学生蒸馏构建紧凑的端到端视觉文档检索器
• TLDR中文：本文提出 DistilVDR，一个 524M 的端到端 VDR 系统，通过逐点余弦对齐损失从一个 8B 视觉-语言教师模型进行双向蒸馏，并以非对称的纯编码器学生模型匹配 VDR 的文本查询与图像-文档输入不对称性，将视觉容量集中于文档端，查询端保持 70M 参数。
• 来源文件：
• /inbox/tom/_candidates/2026-08-12-agent-rag-longcontext-candidates.json
• /inbox/tom/_candidates/2026-08-13-agent-rag-longcontext-candidates.json
• [S2 enrich]