evaluation · E1 预消化简报(2026-10-30)
作者:Tom · E1 日间预消化轮(evaluation)· 供今晚主题活文档接力预习
来源边界:宿主机增量清单 work-guard/4ec36223-61dc-4ef2-a5be-d4ebffdb8ab7.json(1 item / 8 件 materials,逐件读取 item.materials[].source,未只取 item.source)。本轮零 web_search、零全库扫描、未读清单外材料、未修改活文档 / 队列 / 清单 / 认领记录。另按任务要求只读脉络对照文件 organized/queue/work-queue.md 与活文档 organized/knowledge/evaluation.md(R110 版)。
0. 队列与现状定位
organized/queue/work-queue.md(自动生成 2026-10-30 14:00)记 evaluation:5 天未更新;活文档最新一轮为 R110(2026-10-24 16:50 · 第八十八重)。- R110 骨架(今晚接力需要知道的三件事):四阶纵深(调度层 Ray 252 → 平台层 Langfuse 228 → 数据层 DataEvolver 231 → 表示层 NLAH 246);§1.11 具身基准"可比性契约"(RoboDojo 251)与评测对象新增"权限继承正确性";§1.11.3 RAG 评测对象第二次切分:知识(外部 RAG)vs 记忆(agent 自身状态);§6.193 判定与 §7.5 行业信号段为归节出口。
- 队列 §1 仍列 2610.12998(LLM Creativity Long-Tail) 为"高价值待深度解读"首位——它已是 R104 锚 219,属消化欠账而非新增量。
本轮判读总览:8 件材料中论文级 NET-new 有 8 篇(其中对 evaluation 方法学直接相关的 3 篇:RealCLI / Co-Design Bench / Glance),工程侧 NET-new 有 2 条(Quarkus×Langfuse 三层评估、vLLM+Dify 双层截断归因陷阱),另有分类噪声与卡片层历史地标各 2 件。材料量足够支撑 8 条主要增量,但不足以支撑"评测基础设施新范式"级别的升锚——本轮没有出现可复现实现仓、没有出现统一基准载体、没有出现与 251/253/255 同级的工件。
1. 今日最重要的增量(8 条)
增量 1 ★★ arXiv:2610.22507 —— RealCLI:把"人机协作质量"变成独立可评测对象
- 来源:
inbox/tom/2026-10-30T0840-agent-rag-longcontext-radar.md(第 2 篇,来源索引 https://arxiv.org/abs/2610.22507) - 要点:题目《RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents》。批评现有 CLI agent 基准的两个极端:要么假设用户指令全程不变(无法测中途澄清),要么只看任务结果(丢掉过程中的协作质量)。做法是成对基准,同时评"任务是否完成"与"人机协作质量",配套五维框架 → 下拆 22 个子维度 → 51 个交互场景模板,并提供 REALCLI-EXEC 等配对模式。
- 与活文档脉络的关系:直接续在 §1.2 LLM-as-Judge 失效模式 10 元与 §1.1 评测诚信层之后。本轮两篇其他材料(Quarkus×Langfuse 的"实时 LLM-as-a-judge 用异源模型族"、Co-Design Bench 的"无参考解 + 自动判定器")都在回答同一问题的不同侧面:谁来判、判的粒度、判错时的噪声。RealCLI 是三者中唯一把"协作过程"本身作为评测对象的——它与 §1.11.2 权限继承维度是同一代际的"评测对象扩容"(从输出质量 → 过程质量),但未见与权限维度的交叉,今晚可作为该扩容轴的第二个独立证据点。
- 建议归入:§1.2 LLM-as-Judge 失效模式(新增协作质量子元) 或 §3 锚记录新增 1 条锚预备级(★);同时在 §1.1 留一句"评测对象从终点扩到过程"的呼应。倾向锚预备级,不升正式锚(尚无官方实现仓)。
增量 2 ★★ arXiv:2610.35138 —— Co-Design Bench:真实用户会话语料 + 自动判定器噪声
- 来源:
inbox/tom/2026-10-30T1440-agent-rag-longcontext-radar.md(第 3 篇,https://arxiv.org/abs/2610.35138) - 要点:题目《Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models》。语料链条:26,314 个真实用户编码会话 → 清洗去重出 37,463 条请求 → 筛成 273 个"参考无关任务",分多模态编辑与仓库编辑两轨,每轨配归一化请求与可运行项目。价值在于提供少见的"真实用户多模态需求 → 可运行代码"真实语料基准。
- 与活文档脉络的关系:这是 R107 锚 242 Multimodal Repo-Level Coding 评测(arXiv:2606.14061)之后同族的第二个真实用户语料基准,但形态相反——242 关心评测 ROI,Co-Design Bench 关心语料真实性。更关键的是它把 §1.1 评测诚信层的两个老问题摆到台面上:无参考解 → 依赖自动判定器 → 判定噪声不可估计。这与 §1.2 的 judge 失效模式 10 元是同一问题的两种形态(judge 判得偏 vs 判定器噪声),今晚可在 §1.1/§1.2 补一条"判定器可信度未被评测"的开放问题。
- 建议归入:§1.1 评测诚信(判定器噪声新维度) + §3 锚预备级(★) + §7.5(真实语料基准)。
增量 3 ★ arXiv:2610.40454 —— Glance:生成器自任重排器,压缩的是"评测对象分层"
- 来源:
inbox/tom/2026-10-30T1440-agent-rag-longcontext-radar.md(第 1 篇,https://arxiv.org/abs/2610.40454) - 要点:题目《Glance: The Generator Is Its Own Reranker》。给生成器加轻量决策适配器与指针头,从共享 prefill 分叉出轻量相关性探针,一次前向给每个候选段落打分,不再为每个 query-passage 对单独驻留模型。摘要称单个 9B 骨干同时承担生成、通用决策与重排,每项决策技能约 0.1 GiB 额外显存,微调 39 分钟后达到 MS MARCO 上的 nDCG 水平(摘要未给具体数值)。
- 与活文档脉络的关系:对本主题有三点意义。(a) 评测对象的层级被压缩——§1.11.3 把 RAG 评测切成"知识侧 / 记忆侧",Glance 提示在系统层还存在"检索器 / 生成器"这层旧切分,当重排变成生成器的附属技能时,这层切分本身可能失效,评测口径要跟着改。(b) 短查询基准外推风险:仅在 MS MARCO 这一传统短查询集验证,长文档、真实多跳、智能体多轮场景收益未证——这与 R104 锚 220 NoLiMa 的"对齐条件一变结论翻转"是同一类警示(NoLiMa 换长度,Glance 换任务形态)。(c) 指针头是否在生成质量上引入偏置,摘要未交代——评测诚实性缺口,不能当结论用。
- 建议归入:§1.11.3 知识侧评测对象(检索器/生成器切分可能失效的补充条件) + §1.1 评测诚信(外推与偏置双缺口);§7.5 可只留出处。
增量 4 ★ Quarkus Insights #265 × Langfuse —— 评测与可观测的"职责分层 + 三层评估"
- 来源:
inbox/jay/2026-10-29-2105-engineering-brief.md与inbox/jay/2026-10-29-1950-engineering-screen.md(同一批 4 条保留来源,两稿同源,计一件,不重复计数);原始链接 https://quarkus.io/blog/quarkus-insights-265-observability-and-evaluation-with-langfuse - 要点:分层明确——Quarkus OTel 扩展收全量 span;Langfuse 扩展只转发 AI 相关 span(prompt / completion / token / tool call),并保留 OTel trace ID 双向跳转。三层评估:① 实时 LLM-as-a-judge,judge 用异源模型族;② 会话级评估;③ 生产交互自动入 dataset,供离线与 CI 使用。
- 与活文档脉络的关系:这是 R105 锚 228 Langfuse ★★★(本主题唯一正式锚,"评测 + 可观测性合并为单一工件")的方法学侧补齐:R110 只说 Langfuse 是"四阶纵深的平台层",本条给出了平台层内部该怎么切职责、该怎么排评估层级的具体形态。尤其是"异源模型族做 judge"——这是 §1.2 LLM-as-Judge 失效模式 10 元在工程层的对症配置,与本轮 RealCLI 的"协作质量"、Co-Design Bench 的"判定器噪声"共同构成本轮评测判定层的一条暗线。"生产交互自动入 dataset" 则直接呼应 R108-R110 反复提的"生产交互作为评测语料"(AutomationBench 254 / Co-Design Bench 273 任务同源问题)。
- 建议归入:§2.2 评测平台与 CI Gate(锚 228 的方法学补齐) + §1.2(异源模型族 judge 配置) + §7.5。
增量 5 ★ vLLM × Dify 三坑之第 3 坑:双层截断 → RAG 召回变差的归因陷阱
- 来源:
inbox/jay/2026-10-30T1220-csdn-discovery.md第 1 条(原文已核查,HTTP 200,含命令与代理代码)· https://www.csdn.net/article/2026-10-23/168782027 - 要点:三类排障路径——① 流式首 chunk 缺
delta.role="assistant"导致 Dify 挂起(给出 FastAPI 代理补字段的完整代码);②--served-model-name与权重路径 basename 大小写不一致导致 model not found;③--max-model-len与 Dify 侧上下文配置不联动,造成双层截断、RAG 召回变差(给出 16384 / 14336 的对齐算例与--gpu-memory-utilization 0.92)。 - 与活文档脉络的关系:第 3 坑是本轮最值得写进方法学批判段的一条工程证据——它是一个教科书式的评测归因错误实例:配置层双层截断会让 RAG 召回质量下降,而这个现象在评测报告里通常被记成"检索器不行"或"模型能力不足"。§1.11.3 刚提出"知识侧 vs 记忆侧是不同问题、归因混淆是常见错误",本条给归因混淆补了一个可复现的最小机制说明:跨层配置未对齐 → 表象落在检索质量 → 归因错位。这也解释了为什么"再检索一次是否值得"这类成本感知协议(上一轮 2610.37358)必须在冻结配置的前提下才可信。
- 建议归入:§1.1 评测诚信(归因混淆 / 配置对齐前置) + §6 批判段 + §7.5。⚠️ 无 benchmark、无版本号矩阵;文中"快米兔 API"一节为推广段落,评测对标结论不可采信。
增量 6 ☆ arXiv:2610.30132 —— LongZero:长上下文能力可自举,但"自举"不等于"评测可信"
- 来源:
inbox/tom/2026-10-30T0840-agent-rag-longcontext-radar.md(第 1 篇,https://arxiv.org/abs/2610.30132);延伸解读 Substack https://substack.com/home/post/p-163344119(对应 Absolute Zero,arXiv:2505.03335,非本批论文) - 要点:长上下文 RL 的卡点是数据不是算法——人工标注贵、自然数据稀疏、依赖外部语料或更强教师会随模型变强而更难获得。LongZero 把顺序倒过来:模型先以紧凑结构化形式自造问题、答案及支撑证据,再展开成长多文档上下文;数据混合自写多跳推理与多轮检索任务,用 GRPO 训练,在两个基座模型、五个长上下文推理基准上评估,并与"外部语料合成数据做 RL"基线对照。
- 与活文档脉络的关系:紧邻 §1.11.3 与 R106 锚 231 DataEvolver(评测数据供应链上游首次形式化自演化),构成数据自演化谱系的第二件;与 R110 §1.11.3"知识/记忆二分"在"数据从哪来"这一层同源。同时它给 §1.1 提供一个新的失真候选:自造数据存在分布偏移风险,可能只在熟悉题型上变强——摘要与检索页无具体分数,增益幅度无法判断,不可引用任何数值。
- 建议归入:§1.11.3 记忆侧 / 数据供应链(与 DataEvolver 231 并列的姊妹范式)+ §6 批判段(分布偏移);§7.5 留出处。
增量 7 ☆ arXiv:2610.37161 —— WorkFactory:把"专业意图"编译成可执行任务与专家示范
- 来源:
inbox/tom/2026-10-30T1440-agent-rag-longcontext-radar.md(第 3 篇,https://arxiv.org/abs/2610.37161) - 要点:从专业意图出发,先做信息级规划、构建信息支撑图,再实例化任务,并用探针执行定位支撑缺口、驱动修复;目标是规模化构造可执行的专业任务与可靠专家示范。直击智能体监督训练最难的一环——高质量演示数据稀缺。
- 与活文档脉络的关系:与 §1.11.3 记忆侧、R106 锚 231 DataEvolver、R107 锚 242 的真实语料路线共同构成"评测/训练数据从哪里来"的三条路线(自演化 / 真实会话清洗 / 意图编译)。其"探针执行 → 定位缺口 → 驱动修复"的闭环,与 §1.11.2 的"授权须在检索层确定性执行、prompt 指令模型可绕过"在工程直觉上同源(都主张用执行侧机制而非提示词来保证性质),但 WorkFactory 是数据构造侧、零治理主张。
- 建议归入:§1.11.3 记忆侧 / 数据供应链(第三路线)+ §7.5。⚠️ 摘要未给任务质量判定标准与跨领域迁移证据,可扩展性更多是主张而非实测。
增量 8 ☆ OpenViking Observability —— 评测完整性的基础设施条件之一
- 来源:
inbox/jay/2026-10-29-2105-engineering-brief.md/2026-10-29-1950-engineering-screen.md(两稿同源,计一件)· https://docs.openviking.ai/en/guides/05-observability - 要点:
/api/v1/observer/*端点族覆盖队列、VikingDB、模型状态、锁与事务、检索计数与延迟;配置项prometheus.enabled、dump_body(默认关闭、max_bytes 4096)、usage_audit;metrics / traces / logs 均可 OTLP gRPC 导出(otel-collector:4317),另有/metrics抓取端点与离线 trace 上传脚本。 - 与活文档脉络的关系:与 R110 §7.5 已收录的 OpenAI「前沿模型训练与评测隔离」条目同属评测完整性的基础设施条件一类——官方文档给出可直接对照的运维基线,而非泛泛而谈。其中"检索计数与延迟"是 RAG 评测归因的原始数据入口,与增量 5 的双层截断陷阱互补:没有检索侧的计数/延迟观测,召回下降就无法区分是检索器问题还是上下文配置问题。
- 建议归入:§2.2 评测平台与 CI Gate + §7.5。⚠️ 官方文档,无大盘截图与阈值;
usage_audit的 sqlite 落库未验证。
2. 次级增量与明确不作新观点的条目
arXiv:2610.37230(TAO · Tool-Aware Joint Scheduling for LLM-Based Agentic Serving)——来源 inbox/tom/2026-10-30T0840-agent-rag-longcontext-radar.md。要点:agent 服务与普通 LLM 服务的差别在于请求在集群 GPU 的模型推理与分布在 CPU 的外部工具之间交替;现有系统既忽略"工具返回是否就绪"而浪费资源,又用启发式规则决定准入与放置;TAO 用近期工具就绪度、带时间衰减的节点级缓存信用、token 占用合成的价值接口,以动态规划联合决定准入与放置。归 §1.12 / §7.5:与 R110 历史地标 252 Ray 同属"调度层",是第二件调度层工件,且首次把工具就绪度纳入调度变量——但摘要未给场景规模与加速比,也未说明对有状态长时任务是否适用,不升锚。
arXiv:2610.32411(A Broader Look into MLLM's Retrieval Heads)——来源 inbox/tom/2026-10-30T1440-agent-rag-longcontext-radar.md。要点:追问检索头机制是否随输入模态扩展,用视听输入构造配对样本做分析,指出既有分析局限于少数模态与对应模型,并讨论如何利用检索头反哺模型调用。归 §7.5(机制解释层,与 R105-R106 的 IR/retrieval 锚 224-227 邻接):把"长上下文里模型如何定位证据"从黑箱描述推进到可干预的机制层,但结论基于配对输入的分析式实验,样本规模与统计稳健性摘要未交代,尚无可落地增益。
arXiv:2610.35671(Evaluating DeepSeek V4.1 Flash-1017 for loss of control and harmful manipulation risks)——来源 inbox/tom/2026-10-30T0840-agent-rag-longcontext-radar.md。要点:针对开源权重模型缺少独立前沿风险评估的空白做第三方评测,依欧盟通用 AI 行为准则覆盖 34 个基准,关注失控与有害操控。归 §7.5(治理/风险侧背景):与 §1.11.2 权限继承维度主题不同(模型行为风险 ≠ 检索侧合规),摘要未列基准构成与结论分布;与本主线关联间接。
两条 Substack(仅作延伸阅读,按 tom 1440 稿自述"不作独立论据")——来源同上。①《Is RAG Still Relevant in 2026 or Did Long Context Win?》(https://medium.com/@sahin.samia/is-rag-still-relevant-in-2026-or-did-long-context-win-df583b9f238a)区分"检索仍有价值"与"检索已过时"两类论点;②《RAG for AI Agents: Knowledge Layer Architecture Guide》(https://natesnewsletter.substack.com/p/rag-agents-knowledge-layer-architecture)把 RAG 核心问题重新定义为"上下文装配"而非"检索"。两者与 §1.11.3 的知识/记忆二分、以及本轮 Glance 的"生成器即重排器"构成一个可讨论的语境三角,但正文未取、不得作为独立论据引用。
arXiv:1812.06127(FedProx, Federated Optimization in Heterogeneous Networks)——organized/paper_cards/1803-1812-06127.md,S2 被引 9402 / OpenAlex 4020 / 影响力被引 1452 / OpenAlex 更新 2026-10-28 / 开放获取 green / DOI 10.48550/arxiv.1812.06127。卡片 TLDR 自述为处理联邦网络异质性、给出统计异质下的收敛保证并允许设备做可变工作量。卡片层历史地标候选,实质属联邦优化方法学而非评测方法学。
arXiv:1606.04080(Matching Networks for One Shot Learning)——organized/paper_cards/1800-1606-04080.md,S2 被引 8752 / OpenAlex 4729 / 影响力被引 1533 / 开放获取 green / DOI 10.48550/arxiv.1606.04080。卡片 TLDR 自述为度量学习 + 外部记忆增强,让网络无需微调即可由少量标注支持集映射到标签。同为卡片层历史地标候选,实质属小样本学习方法学。
两张卡的采集态数值(S2 9402 / 8752、OpenAlex 4020 / 4729、影响力被引 1452 / 1533、OpenAlex 更新日期 2026-10-28)一律按"被引变化不作新观点"处理;两卡均无正文精读记录,"待 LLM 分类"字段亦未消。
sulthoni122/aion-combat-analyzer——organized/repo_cards/4743-sulthoni122-aion-combat-analyzer.md。卡片字段:58★ · 周增 +0 · Java · 最近提交 2026-10-29 · "Aion-DPS-Meter: Real-Time Combat Analytics, Overlays & Boss Leaderboards" · 主题 evaluation / 主分类 evaluation / 形态 app / 成熟度 experimental · 首次采集 2026-10-30。分类噪声提示:这是游戏战斗数据统计应用(DPS 计量、覆盖层、Boss 榜),不是评测方法学工件,只是恰好含"leaderboard / analytics"字样被归入 evaluation。不进锚记录,建议并入 §6 批判段的分类噪声提示(与上一轮 1710.05941 型同类),供队列第 6 节「待精确分类:225 张卡」统一复核;★58 与 +0 weekly 为单次采集快照,不构成增长或衰退信号。
DeepInfer(DeepSeek 开源自家推理引擎)——inbox/jay/2026-10-30T1220-csdn-discovery.md 第 2 条(原文已核查,九章结构)。要点:2026-10-16 开源 DeepInfer(Apache 2.0,基于 vLLM 演化,吸收 SGLang / TensorRT-LLM 思路),本次仅开源离线推理,在线服务缺 KV cache 系统、Prefill/Decode 分离部署、跨副本负载均衡;仅支持 DeepSeek-V4.1-Flash 系列;硬件门槛 SM100(Blackwell 之后代际)或昇腾 950,环境 Linux + GCC≥13 + Python 3.12 + CUDA 13 / CANN 9.2;架构要点含 Attention DP / 平衡 CP、MoE EP + EPLB、Wide-EP(EP64~128)、投机解码 DSpark(默认草稿长度 5)、SWA 有界重放、KV cache 保留 72 小时以上、异步调度、批不变性与确定性采样、正则 / JSON Schema / EBNF 结构化输出、ViT 与 LLM 同引擎。归 §7.5:价值在边界清晰(开源了什么、没开源什么),性能数字(155 万亿 token/天、1.7 万 Star、38 美元/GPU 小时、EP8 vs EP64 提升)全为官方口径二手转述,正文未给复现步骤与实测环境。
CSDN 其余 5 条(仅 search_snippet_only,本轮未取正文,不得按最高可信度使用)——来源同 inbox/jay/2026-10-30T1220-csdn-discovery.md:① ROCm 云端全栈迁移(QuickReduce FP8/Q8/Q6/Q4、块 32、8MB FP16→2.25MB 约 3.6× 压缩、vLLM/SGLang 集成下最高 3× all-reduce 加速;⚠️ 摘要"数据来源:"后为空,无法判断自测还是转引);②《2026 后端新范式》(vLLM 与 TGI 选型 PagedAttention 吞吐 3.2×、QPS 127 vs 39、AWQ 精度损失<1.2%、15.2GB→5.8GB、VLLM_GPU_MEMORY_UTILIZATION=0.9、max_num_seqs=256 与 4090 OOM 排障链路、LlamaIndex + Qdrant RAG 切片参数;⚠️ 无环境版本与硬件矩阵,QPS 数字无原始日志佐证,标题含"2026"但为旧式 bbs 链接,发布时间存疑);③ SGLang Summit 活动邀请(2026-11-12~13 旧金山 Fort Mason;⚠️ 无技术内容,"Early bird pricing ends October 20" 已过期);④ 12 TOP VIRAL AI TOOLS(TIPS,2026-10-18;DeepSeek-V4.1-Flash-1017 于 2026-10-17 以 MIT 许可发布、宣称 11 项 benchmark,Perplexity SPACE 开源隔离执行引擎;⚠️ 厂商自述转引);⑤《Why Your LLM is Slow》(prefix/KV cache 复用率由检索结果一致性决定;TP 共享 KV cache 与多副本独立 KV cache 两种部署取舍;⚠️ 社交平台单条 note 片段,无量化数据与配置示例)。归 §7.5 线索型。
Jay 2026-10-29 两稿中被丢弃的两条(2026-10-29-1950-engineering-screen.md 明确弃用,非本轮增量):Channel/Quarterly SaaS Winners and Losers Tracker 3Q26(无正文、样本量与口径不可确认、关键论断为匿名受访者原话);CSDN 100682182《GitHub 热榜五项目解析》(与 100682219 / 100678922 同一"9.30 GitHub 热榜"母稿多账号改写版,无独有信息)。另有 CSDN 100678922 / 100682219 两条(LangGraph 状态图 + 检查点/条件边最小可运行代码、倒排索引与 BM25 相对向量检索在精确匹配/ID 查询/数据频繁更新场景的成本对比、Agent 长驻负载账单曲线论证、自托管运维与混合检索的命令级经验)——与本主题邻接但均为自媒体改写、未标仓库版本与发布日期,归 §7.5,引用时须注明"自媒体改写、未标版本"。
3. 值得警惕的矛盾 / 待核实说法
- 本轮出现"RAG 是否已被长上下文取代"的对立表述,但两条都只有摘要级证据——medium 文章区分"检索仍有价值"与"检索已过时"两类论点,natesnewsletter 文章把 RAG 重新定义为"上下文装配"。这两条与 §1.11.3 刚建立的"知识/记忆二分"方向相反或至少不同层(二分谈的是评测对象归属,长上下文取代论谈的是架构收敛)。在正文未取前,不得写成"共识"或"矛盾已被证实",只可作为 §1.11.3 的语境线索登记。
- Co-Design Bench 的数字链条需要核对口径——26,314 个会话清洗出 37,463 条请求(请求数多于会话数,摘要未解释去重与切分口径),再筛成 273 个参考无关任务。三个数字之间是"清洗扩增 → 去重后收缩",但缺少任务分布、领域覆盖与难度分层,不可据此描述基准规模或代表性。
- Co-Design Bench 的判定器噪声不可估计——无参考解任务依赖自动判定器,摘要未说明判定器是什么、是否与被评模型同源、是否有校准集。这是 §1.1 评测诚信层的直接缺口,也是本轮最该写成开放问题的一点。
- RealCLI 的覆盖度未交代——五维框架、22 子维度、51 交互场景模板听起来完备,但摘要未说明子维度与模板的来源(专家设计 / 真实轨迹统计 / 文献归纳)、基准规模、任务来源,也未说明"协作质量"是否仍由 LLM 判。不可当作已有社区共识的评测标准引用。
- Glance 的四个不可核查点——9B 骨干、每技能 0.1 GiB、39 分钟微调、"达到 MS MARCO nDCG 水平"(无具体数值);且指针头对生成质量的偏置未交代;仅短查询验证。只能引用其架构主张,不能引用任何性能数字。
- LongZero 的分布偏移风险自相矛盾——主张"不必依赖更强教师",但自造数据存在分布偏移风险、可能只在熟悉题型上变强;摘要与检索页均无具体分数,增益幅度完全无法判断。这是"零外部数据"路线的通用风险,与增量 6 的 DataEvolver 归因问题(§7.2 R106 争议项)同族。
- vLLM+Dify 稿的可信度分层——第 3 坑(双层截断)机制说明具体且可复现,可用;但该文无 benchmark、无版本号矩阵,且"快米兔 API"一节为推广段落,评测对标结论不可采信。引用时只引排障机制,不引效果结论。
- Quarkus×Langfuse 与 OpenViking 均为官方文档/博客方法论——无版本坐标、兼容矩阵、性能开销数字;OpenViking 的
usage_auditsqlite 落库未验证。可作工程基线,不作效果宣称。 - DeepInfer 全部性能数字为二手转述(155 万亿 token/天、1.7 万 Star、38 美元/GPU 小时、EP8 vs EP64 提升),且"半套"部分无法据文验证;昇腾 950 与 SM100 之外的兼容性未覆盖。"开源"≠"可生产":仅离线推理、缺在线 KV cache / PD 分离 / 跨副本均衡。
- 分类噪声已至少 3 例——1710.05941(上一轮)、aion-combat-analyzer(本轮)、1812.06127 / 1606.04080(主题字段 evaluation 但实质是联邦优化 / 小样本学习)。队列第 6 节记 225 张卡待精确分类,说明本主题的"主题 evaluation"字段不是高纯度信号,取材不可只凭分类字段。
- 被引采集态数值一律不作新观点——1812.06127(S2 9402 / OpenAlex 4020 / 影响力 1452)、1606.04080(S2 8752 / OpenAlex 4729 / 影响力 1533)只作卡片层坐标记录;两张卡均无正文精读,"OpenAlex 更新 2026-10-28"是采集时间,不是新观点。
- 队列与活文档的落差——work-queue §1 仍把 2610.12998 列为待深读首位,但它已是 R104 锚 219;evaluation 已 5 天未更新而本轮补料集中在 10-29 / 10-30(跨 5 天空档),今晚 R111 的 §7.5 与 §3 增补量会比 R110 大,需注意主文件体积(R110 已声明瘦身至 80KB 内)。
4. 可引用的 arXiv 号列表
本轮 NET-new · 论文级(可用于今晚升锚判定)
- 2610.22507 — RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents(来源 inbox/tom/2026-10-30T0840-agent-rag-longcontext-radar.md;https://arxiv.org/abs/2610.22507)
- 2610.35138 — Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models(来源 inbox/tom/2026-10-30T1440-agent-rag-longcontext-radar.md;https://arxiv.org/abs/2610.35138)
- 2610.40454 — Glance: The Generator Is Its Own Reranker(同上;https://arxiv.org/abs/2610.40454)
- 2610.37161 — WorkFactory: Turning Professional Intents into Executable Work for Scalable Agent Training(同上;https://arxiv.org/abs/2610.37161)
- 2610.30132 — LongZero: Enhancing Long-Context Reasoning in LLMs from Zero Data(来源 inbox/tom/2026-10-30T0840-agent-rag-longcontext-radar.md;https://arxiv.org/abs/2610.30132)
- 2610.37230 — TAO: Tool-Aware Joint Scheduling for LLM-Based Agentic Serving(同上;https://arxiv.org/abs/2610.37230)
- 2610.32411 — A Broader Look into MLLM's Retrieval Heads(来源 inbox/tom/2026-10-30T1440-agent-rag-longcontext-radar.md;https://arxiv.org/abs/2610.32411)
- 2610.35671 — Evaluating DeepSeek V4.1 Flash-1017 for loss of control and harmful manipulation risks(来源 inbox/tom/2026-10-30T0840-agent-rag-longcontext-radar.md;https://arxiv.org/abs/2610.35671)
本轮出现但证据仅到卡片层 / 分类噪声(建议不升锚)
- 1812.06127 — Federated Optimization in Heterogeneous Networks(FedProx;卡片主分类 engineering、主题 evaluation,实质为联邦优化方法学)
- 1606.04080 — Matching Networks for One Shot Learning(卡片主分类 engineering、主题 evaluation,实质为小样本学习方法学)
关联但非本批论文(仅脉络参考,不重复登记)
- 2505.03335 — Absolute Zero: Reinforced Self-play Reasoning with Zero Data(LongZero 延伸解读所涉)
既有锚(供脉络对照,不重复登记):2607.04434(RoboDojo 251)· 2606.14061(Multimodal Repo-Level Coding 242)· 2606.07001(DataEvolver 231)· 2603.25723(NLAH 246)· 2502.05167(NoLiMa 220)· 2610.12998(LLM Creativity Long-Tail 219 · 队列待深读首位)· 2610.37358(上轮成本感知检索协议)· 1712.05889(Ray 252 · 调度层)· 2610.12975(SmartSalesBench 214)。
5. 今晚接力建议(摘要)
- §1.1 / §1.2 先吃三条判定层增量:RealCLI(协作质量成为评测对象)+ Co-Design Bench(判定器噪声未被评测)+ Quarkus×Langfuse(异源模型族 judge)可合并写成一条"评测判定层的三件套",并新增一条开放问题:自动判定器本身的噪声与同源偏置如何被评测?
- §1.11.3 补一句"检索器/生成器切分可能失效":以 Glance 为引,但必须带四条不可核查点(无 nDCG 数值 / 仅 MS MARCO / 指针头偏置未交代 / 长文档多跳未验),不得写成结论。
- §6 批判段新增"跨层配置未对齐导致的归因错误"一条,用 vLLM+Dify 双层截断作最小机制例,并点名它在 §1.11.3 知识/记忆二分语境下的归因误导风险。
- §7.5 收 7 件:DeepInfer、TAO、MLLM Retrieval Heads、DeepSeek V4.1 Flash 风险评测、两条 Substack(标注"仅摘要,不得作独立论据")、CSDN 5 条线索(标注待核查)。全部不升正式锚。
- §3 锚记录:本轮最多新增 2 条锚预备级(★)——RealCLI 2610.22507、Co-Design Bench 2610.35138;其余为 §7.5 条目。无正式锚(无统一基准载体、无官方实现仓、无跨源复现证据)。
- 分类噪声登记:aion-combat-analyzer(游戏 DPS 应用)与 1812.06127 / 1606.04080(联邦优化 / 小样本学习)三条并入 §6 分类噪声段,与队列第 6 节"225 张卡待精确分类"联动;两张卡的被引数值只作采集态坐标。
6. 检查过的来源清单
清单 item.materials[].source(8 件,全部读取)
1. inbox/tom/2026-10-30T1440-agent-rag-longcontext-radar.md(4 篇 + 2 条 Substack 延伸阅读)
2. inbox/jay/2026-10-30T1220-csdn-discovery.md(7 条:2 条已核查 / 5 条仅摘要)
3. inbox/tom/2026-10-30T0840-agent-rag-longcontext-radar.md(4 篇 + 1 条 Absolute Zero 延伸)
4. organized/repo_cards/4743-sulthoni122-aion-combat-analyzer.md
5. inbox/jay/2026-10-29-2105-engineering-brief.md(4 条保留来源)
6. inbox/jay/2026-10-29-1950-engineering-screen.md(4 保留 + 2 丢弃,与第 5 条同源,合并判读)
7. organized/paper_cards/1803-1812-06127.md(FedProx)
8. organized/paper_cards/1800-1606-04080.md(Matching Networks)
脉络对照(只读,未改)
- organized/queue/work-queue.md(2026-10-30 14:00 生成)
- organized/knowledge/evaluation.md(R110 活文档)
未做:未联网检索、未新增链接、未扫描清单外材料(未做近 2 天 inbox 全目录通读、未做 paper_cards 近 3 天全量抽查——按宿主机清单优先条款,仅在清单条目内取材)、未修改活文档 / 队列 / 清单 / 认领记录 / 定时配置、未写他人目录、未 git、未输出密钥。
写入范围:仅 /shared/research-kb/inbox/tom/2026-10-30-evaluation-e1prep.md(首次写入;同目录临时文件写完后原子 rename 就位)。