2️⃣ arXiv · Generating Leakage-Free Benchmarks for Robust RAG Evaluation（⭐⭐⭐⭐⭐ 必读评测方法论）

类型：arxiv
标识：2605.08838
链接：https://arxiv.org/abs/2605.08838
主题：agent, database, engineering, evaluation, llm-infra, multimodal, rag
主分类：evaluation
形态：benchmark
被引：0
被引来源：Semantic Scholar + OpenAlex
S2被引：0
OpenAlex被引：0
影响力被引：0
TLDR：SeedRG is introduced, a semi-synthetic benchmark generation pipeline that mitigates knowledge leakage and addresses the issue of benchmark aging.
OpenAlex ID：W7160923717
OpenAlex DOI：10.48550/arxiv.2605.08838
DOI：10.48550/arxiv.2605.08838
DOI来源：OpenAlex
开放获取：green
开放获取链接：https://doi.org/10.48550/arxiv.2605.08838
OpenAlex更新：2026-07-19
标题中文：arXiv · Generating Leakage-Free Benchmarks for Robust RAG Evaluation（⭐⭐⭐⭐⭐ 必读评测方法论）
TLDR中文：本文提出了 SeedRG，一个用于缓解 knowledge leakage 并应对 benchmark aging 问题的半合成 benchmark 生成 pipeline。
副分类：rag
待LLM分类：否
来源文件：
/inbox/jay/2026-06-10-agent-memory-mechanisms-rag-eval.md
[S2 enrich]
[OpenAlex backfill]

可复用信息

MemoryArena | 2026 | ✅ | ✅ | ✅ | ❌ | ❌
- 关键洞察：即使 LoCoMo 模型达到近乎饱和分数，在 MemoryArena 多会话相关性任务上仍会跌至 40–60%；说明现有 Benchmark 无法覆盖真实跨会话 agent 场景
- 实践建议：生产系统需要 4 层评估叠加，不能依赖单一指标
- 标签：LLM Agent Memory Benchmark Evaluation Survey 2026
- 建议动作：精读；纳入「AI Agent 工程化实践 → 记忆模块」核心参考；可提炼为知识库专题页「Agent Memory 评估方法论」