evaluation · E1 预消化简报(2026-11-02)

作者：Tom · 任务：E1 日间预消化轮(evaluation)· 为今晚主题活文档接力预习备料 本批范围：work-guard 清单 4ec36223-61dc-4ef2-a5be-d4ebffdb8ab7 的 1 个 item / 8 条 materials，逐条读取 item.materials[].source（相对 /shared/research-kb/）。未联网补料、未全库扫描、未为凑字数多轮重写。 参考脉络：organized/knowledge/evaluation.md（活文档当前版本 R110，最后更新 2026-10-24，已 8 天未更新）；organized/queue/work-queue.md（2026-11-02 14:00 生成，标注 evaluation 活文档 8 天未更新；待深读首位 2610.12998 LLM Creativity Long-Tail；Tom 认领段为 detectorscope 与 TencentCloudBase/CloudBase-AI-Toolkit，与本批无交集）。 重遇判定口径：以 organized/knowledge/evaluation.md 全文 + engineering.md v157 段 + llm-infra.md 引用清单 + risk.md 引用清单交叉比对，被引/采集时间的变化一律不作新观点。

一、今日该主题最重要的增量（8 条 · 按材料逐条对应）

增量 1 · Agentic AI 精选库：24 领域论文/基准/框架的聚合型导航工件（NET-new，可升"导航预备级"，不升正式锚）

  • 来源：organized/repo_cards/4806-mahmoudrabie-agentic-ai.md；https://github.com/mahmoudrabie/agentic-ai ；MIT · JavaScript 无关（卡片未记语言）· 188★ · +0 weekly · 最近提交 2026-11-01 · 首次采集 2026-11-02 · 成熟度 experimental · 主分类 agent · 形态 benchmark · 主题 agent/rag/evaluation/risk/llm-infra。
  • 要点：自述为"Agentic AI research papers, benchmarks, frameworks, and tools curated across 24 domains"——按 24 个领域聚合编排 agentic AI 的论文、基准、框架与工具。
  • 与活文档脉络的关系：与 §3 锚 232（arXiv:2603.15031 Raschka 2026 论文清单·导航预备级·不升正式锚）构成姊妹型——两者都是"二级文献聚合"而非原始方法学；活文档现有判定"导航/清单型工件只作预备级、不升正式锚"可直接套用。同时它是 §7.5「行业可观察信号段」的候选：24 领域的横向覆盖度可作为"社区认为哪些域已具备评测工件"的粗略热度信号。
  • 建议归入哪一节：§3 锚记录（预备级·导航型，编号待活文档分配）+ §7.5 留档。
  • ⚠️ 边界：卡片只有简介一行，未读 README、未列 24 个领域的具体名单、未见是否含评价/打分机制；因此它究竟是"索引仓库"还是"含可运行基准的合集"无法判定。+0 weekly 属采集态数值，不作新观点。待核：24 域的划分依据、收录条目是否有筛选标准、是否维护更新记录。

增量 2 · 文件化 workflow harness：harness"以文件为载体可编辑"的社区自建实现（NET-new，harness 生态候选新节点）

  • 来源：organized/repo_cards/4793-ancienttwo-repo-harness.md；https://github.com/Ancienttwo/repo-harness ；MIT · TypeScript · 435★ · +0 weekly · 最近提交 2026-11-01 · 首次采集 2026-11-01 · 成熟度 research · 主分类 evaluation · 主题 agent。
  • 要点：自述"File-backed workflow harness for reliable Claude Code and Codex sessions"——以文件承载工作流、面向 Claude Code 与 Codex 会话的可靠性取向。
  • 与活文档脉络的关系：直接命中 §1.9 锚 246 NLAH 的核心论断"harness 外置为可编辑自然语言文档"（R108）——本条是该论断在社区侧的非官方、非论文实现样本，与 R110 锚 253 stanford-iris-lab/meta-harness（论文官方实现仓）构成对照面：官方实现仓 vs 社区实现仓。也可接续 §2.3 harness 生态候选（R110 第 36 节点 251-255 之后开第 37 节点）。435★ 在本主题 harness/benchmark 谱系里属中上量级，与 AutomationBench 353★、OpenVLHarness 220★ 同量级。
  • 建议归入哪一节：§2.3 harness 生态候选新增节点（社区自建 harness 类）；§1.9 作为 NLAH 表示层论断的工程侧旁证一句；§7.5 留档。
  • ⚠️ 边界：未读 README，因此"file-backed"到底是配置文件、Markdown 提示文件还是文件系统状态机不可书写；"reliable"无任何指标、基准或评测定义支撑，不得当作可靠性主张引用；卡片未记是否含评测/回放/评分代码。待核：是否有可复现的失败率/成功率数据、文件格式、与 Claude Code / Codex 的集成方式、是否有测试套件。

增量 3 · Cloud-native and Distributed Systems for LLM 研究路线图：评测基础设施在云原生栈中的坐标（NET-new）

  • 来源：organized/paper_cards/140-2604-17227.md；arXiv 2604.17227 · https://arxiv.org/abs/2604.17227 · https://arxiv.org/html/2604.17227v1 · 形态 survey · 主分类 llm-infra · 主题 agent/database/engineering/evaluation/llm-infra/multimodal/rag · S2 被引 4 / OpenAlex 被引 0 / 影响力被引 0 · DOI 10.48550/arxiv.2604.17227 · 开放获取 green · OpenAlex 更新 2026-07-19 · 来源文件 /inbox/jay/2026-06-10-database-cloudnative-backend.md + S2 enrich + OpenAlex backfill。
  • 要点：卡片 TLDR——对分布式 LLM 训练、推理服务、云原生编排、资源管理、异构计算与边云协同的代表性进展做分析，指出"支撑规模化 LLM 需要从通用云基础设施转向 LLM-aware、跨层、自适应的系统"。TLDR中文补充提到数据管理、资源优化，以及对 microservices / autoscaling / hybrid cloud-edge 的需求。
  • 与活文档脉络的关系：给 §1.12 的评测基础设施四阶纵深（调度层 Ray 252 → 平台层 Langfuse 228 → 数据层 DataEvolver 231 → 表示层 NLAH 246）提供一条外部坐标系——同一份综述在 llm-infra 侧独立地把"云原生编排 / 资源管理 / 异构计算"作为 LLM 系统的主干，与本主题"评测基础设施分层"是同构问题（都是"哪些层必须被单独对待"）。该 arXiv 号不在 evaluation.md 的 §8 累积列表内，在本主题属 NET-new。
  • 建议归入哪一节：§1.12 作为"四阶纵深的外部对照"一小段（不作锚，因主分类与形态均在 llm-infra/综述）；§7.5 留档并入 llm-infra 主题交叉。
  • ⚠️ 边界：仅摘要层，未读正文；S2 4 引 / OA 0 引 的巨大口径差（呼应活文档 C61"被引计数需多源交叉"）；综述本身不含评测方法学新方法，不得从中"读出"评测结论。⚠️ 卡片污染：该 card 的「可复用信息」块内容是 KubeVirt 爆发 / 自动化 FinOps / 覆盖迁移策略 / GatewayAPI / 2026 标签——这是 database-cloudnative-backend 主题的笔记残留，与 2604.17227 的评测/分布式 LLM 主张无关，该块不得采信（详见第二节警惕项 5）。

增量 4 · 魔搭 ms-cookbook：中文社区把"评测"作为应用实战的一等章节（NET-new，弱证据·信号级）

  • 来源：organized/repo_cards/4814-modelscope-ms-cookbook.md；https://github.com/modelscope/ms-cookbook ；Apache-2.0 · HTML · 512★ · +0 weekly · 最近提交 2026-11-02 · 首次采集 2026-11-02 · 成熟度 research · 主分类 agent · 形态 app · 分类 trending · 主题 agent/rag/evaluation/llm-infra。
  • 要点：自述"魔搭紫皮书｜ModelScope Cookbook：面向开发者的开源模型应用实战指南，覆盖模型选型、推理、微调、评测、RAG、Agent 与 AIGC，从跑通第一个模型到构建实际应用"。
  • 与活文档脉络的关系：这是本批唯一"中文语境 + 厂商生态 + 教程体"的工件，对本主题的方法学价值有限，但信号价值有两点：(a) "评测"被放在与推理/微调/RAG/Agent并列的教程章节位置，说明评测在中文应用开发者语境里已是"照着做"的常规工序，而非研究专题——可作 §7.5 的生态普及度信号；(b) 512★ + trending + Apache-2.0，是本批 star 数最高的工件，可作本主题"社区可触达面"的量级参照。
  • 建议归入哪一节：§7.5 行业可观察信号段（信号级，不入锚记录）。
  • ⚠️ 边界：卡片只有简介一句话，未读 README / 目录 / 任何评测章节，因此"评测章节讲了什么、用了哪些指标、是否含可运行代码"全部未知；不得据此声称 ModelScope 有/没有评测基准。trending 分类与 +0 weekly 属采集态标签，不作增长结论。待核：评测章节的实际内容与指标口径、是否有配套数据集/榜单、Apache-2.0 覆盖范围是否含示例数据集。

增量 5 · Memory Security Survey（六阶段 × 四目标）：给"记忆侧评测"提供失效模式坐标系（重遇·邻接，不升锚）

  • 来源：organized/paper_cards/076-2604-16548.md；arXiv 2604.16548 · https://arxiv.org/abs/2604.16548 · https://arxiv.org/html/2604.16548v1 · 卡片主分类 rag · 形态 method · 主题 agent/database/engineering/evaluation/llm-infra/rag/risk · S2 被引 26 / OpenAlex 被引 0 / 影响力被引 1 · DOI 10.48550/arxiv.2604.16548 · 来源文件 /inbox/jay/2026-06-13-evening-memory-agentic-ssgm-inference-update.md。
  • 要点：提出记忆生命周期框架——六阶段（Write / Store / Retrieve / Execute / Share&Propagate / Forget&Rollback）× 四个安全目标（Integrity / Confidentiality / Availability / Governance）两轴来组织攻击、防御及其跨阶段依赖；卡片 TLDR中文给出其核心判断："鲁棒的长期记忆安全无法仅在 retrieval 或执行阶段后置加固，而必须在最初就以存储阶段的溯源、版本化与策略感知的 retention 为基础进行锚定"。
  • 与活文档脉络的关系：这是 §1.11.3"RAG 评测对象二分（知识侧 vs 记忆侧）"目前唯一可用的方法学坐标——活文档已声明"两侧的成功判据、失效模式与可复现性要求并不相同"，但记忆侧一直缺一份可操作的失效模式清单；本篇的六阶段×四目标正好可作该侧清单的骨架，且其"存储阶段即须锚定、不可后置加固"的结论与 §1.11.2 权限继承维度（授权须在检索层确定性执行、prompt 指令模型可绕过）同源：都是"防护必须落在确定性的系统层，而非生成侧建议层"。
  • 建议归入哪一节：§1.11.3 内作为"记忆侧失效模式坐标（借用，非本主题原创）"一小段；§7.5 留档；不进 §3 锚记录（本主题 NET-new 的仅是"跨主题借用"，非本主题新增工件）。
  • ⚠️ 边界：该论文已在 engineering.md v111 入库（锚点），并在 risk.md 引用清单中，本轮只作口径记录（26 / 0 / 1），不改写其方法学结论；被引变化与采集时间不作新观点。正文未读，"90% 中毒率""ClawVM / AgentSpec / MemMachine"等数字与案例仅存在于 engineering.md 的历史归档，本简报不转述。⚠️ 卡片「可复用信息」块实为 TOKI 内容误并（见第二节警惕项 5）。

增量 6 · Meena / SSA 人评指标形式化：再遇，仅作谱系锚点登记（重遇·已在 10-31 简报出现）

  • 来源：organized/paper_cards/1794-2001-09977.md；arXiv 2001.09977 · https://arxiv.org/abs/2001.09977 · https://arxiv.org/pdf/2001.09977 · 形态 method · 主分类 evaluation · 主题 rag · S2 被引 1062 / OpenAlex 被引 614 / 影响力被引 103 · DOI 10.48550/arxiv.2001.09977 · 开放获取 green · 来源文件 [OpenAlex discover] + [S2 enrich]（无正文精读记录）。
  • 要点：Meena——端到端训练于从公开社交媒体对话挖掘并过滤得到的数据的多轮开放域聊天机器人；提出人评指标 SSA（Sensibleness and Specificity Average），用以刻画"类人多轮对话"的关键要素。
  • 与活文档脉络的关系：在 §1.2 LLM-as-Judge 失效模式 10 元与 §4 争议区之前，是"把人的主观判断拆成两个正交可聚合维度"的最早形式化尝试——人评指标形式化 → LLM-as-Judge 的谱系起点。该条目在 evaluation.md §3 锚记录与 §8 arXiv 累积列表中均不存在，故对本主题仍属 NET-new 历史地标。
  • 建议归入哪一节：§3 锚记录（历史地标，编号待分配）；§1.2 开头补一句谱系起点。
  • ⚠️ 边界：本轮为重遇——该条目已在 inbox/tom/2026-10-31-evaluation-e1prep.md 的增量 4 中作为候选登记，不重复升锚、不重复展开；本轮只补"活文档确认仍未收录"这一点。SSA 的具体定义（两维度区间、聚合方式、评估者数量、置信区间处理）均不可从卡片书写；2001 年的时间点需注明历史局限。三口径被引（1062 / 614 / 103）差异按 C61 需注明，但不得单源作证。

增量 7 · DataEvolver 再遇：口径记录，不得当新观点（重遇·已有锚 231）

  • 来源：organized/paper_cards/104-2606-07001.md；arXiv 2606.07001 · https://arxiv.org/abs/2606.07001 · 形态 method · 主分类 engineering · 主题 agent/database/engineering/evaluation/llm-infra/multimodal/rag · S2 被引 5 / OpenAlex 被引 0 / 影响力被引 0 · v2 2026-06-10（据卡片可复用信息块所述作者行）· DOI 10.48550/arxiv.2606.07001 · 来源文件 /inbox/jay/2026-06-13-weekly-briefing.md。
  • 要点：卡片 TLDR——DataEvolver 通过多层级自演化自动构建数据准备流水线，显著提升数据质量，相对原始数据训练下游 LLM 平均约 +10 分。
  • 与活文档脉络的关系：已在本主题 §3 锚 231（R106，预备级 ★），且已在 engineering.md v157 作为「数据准备首次成为独立工程对象」入库，无需重复登记。本轮唯一增量是口径：S2 5 / OA 0 / 影响力 0——与 R110 各条的"被引口径差"属同类现象，只作记录。
  • 建议归入哪一节：§7.5 口径留档一行即可；不改 §3 锚 231。
  • ⚠️ 边界：被引 5→ 与卡片的"平均约 +10 分"结论均为摘要层，不得书写为已复现事实；"得分口径与百分比口径并存"的消融细节见 engineering.md v157 归档，本简报不转述（避免把跨主题登记当本主题新观点）。⚠️ 该 card 的「可复用信息」块同样实为 TOKI 内容误并（见第二节警惕项 5）。

增量 8 · 姿势线稿出图工具被归入 evaluation 主分类：分类噪声的一例样本（NET-new·元层信号）

  • 来源：organized/repo_cards/4808-wzc520pyfm-gen-ai-pose-image.md；https://github.com/wzc520pyfm/gen-ai-pose-image ；NOASSERTION 许可 · JavaScript · 284★ · +0 weekly · 最近提交 2026-11-01 · 首次采集 2026-11-02 · 成熟度 experimental · 主分类 evaluation · 形态 app · 主题 multimodal。
  • 要点：自述"澜姿：从姿势线稿和衣装集给社区鲸鱼娘大肥鱼模特出图，调整姿势加变装，也可装进 DeepSeek Harness"（Lanpose ... installs into DeepSeek Harness）。
  • 与活文档脉络的关系：本条本身与评测方法学无实质关系，它的价值是元层的：一是再次出现"DeepSeek Harness"作为可安装目标（R108 锚 248 / R109 已记 DeepSeek Harness 工程信号三件套，这是第四件副产物），可作 §7.5 该信号簇的续记；二是它是一例主分类与内容明显不符的卡片（多模态出图 app 被标 evaluation），呼应工作队列第 6 项"267 张卡主分类缺失或待 LLM 精修"——分类噪声会直接污染本主题的评测语料，是今晚整理锚记录时的实际风险点。
  • 建议归入哪一节：§7.5 行业可观察信号段（DeepSeek Harness 副产物续记 + 分类噪声样本标注）；不入锚记录。
  • ⚠️ 边界：不得引用其任何生成质量结论（无基准、无对照、无模型版本信息）；NOASSERTION 许可不得写作"开源可自由使用"；284★ +0 weekly 属采集态数值；"装进 DeepSeek Harness"仅按简介记录，其接入是否等于 harness 工程化、是否含评测接口均未知。

二、值得警惕的矛盾与待核实说法（6 条）

  1. 【采集污染·最重要】本批 3 张卡的「可复用信息」块被 TOKI（arXiv:2606.06240）内容误并：2604.16548（076 卡）与 2606.07001（104 卡）两张卡的「可复用信息」块，写的是 TOKI 的双时态运算符代数、四种记忆合并启发式（last-writer-wins / evidence-weighted merge / await-confirmation / per-rule policy）、审计行保证 replay 一致性等——与两篇论文本身主题无关。engineering.md v157 已把这一现象登记为"卡片 schema 污染"的可核查采集缺陷。今晚整理时严禁把该块内容当作 2604.16548 / 2606.07001 的方法学结论；两卡的可用信息只限头部字段 + TLDR + 元数据。
  2. 【采集污染·第二例】2604.17227 卡的「可复用信息」块是 database-cloudnative 主题的残留（KubeVirt / 自动化 FinOps / 覆盖迁移策略 / GatewayAPI / 2026 标签），来自其来源文件 /inbox/jay/2026-06-10-database-cloudnative-backend.md。该块同样不得采信，不得把"KubeVirt 爆发""FinOps 成主流"写成这篇 LLM 分布式综述的结论。
  3. 【被引口径·跨源冲突】三处口径差需并列记录，不可单源作证（呼应活文档 C61）：2604.17227 = S2 4 / OA 0 / 影响力 0；2604.16548 = S2 26 / OA 0 / 影响力 1；2001.09977 = S2 1062 / OA 614 / 影响力 103。2604.17227 与 2604.16548 均呈"S2 有量、OpenAlex 为 0"的同类形态，不能据此断定影响力低，也不能据此断定高。
  4. 【主张强度不足】两件"评测/可靠性"类工件的主张缺可核查支撑：Ancienttwo/repo-harness 自述 "reliable"，但无任何失败率/成功率指标与基准定义；mahmoudrabie/agentic-ai 自述覆盖 24 域，但未说明收录标准。两者不得写成方法学证据，只能作生态信号。
  5. 【分类噪声】主分类与内容不符的两例（gen-ai-pose-image：多模态出图 app 归 evaluation 主分类；ms-cookbook：主分类 agent、形态 app，但评测仅为其章节之一）。今晚做锚记录时需按主题标签 + 实际内容双筛，不按主分类字段直接收编，否则 §3 锚记录会被非评测工件稀释。
  6. 【重遇易被当新发现】本批 8 条中有 3 条（2606.07001 / 2604.16548 / 2001.09977）在库内已有记录：前者在 evaluation.md §3 锚 231 与 engineering.md v157、后者在 engineering.md v111 与 risk.md 引用清单、2001.09977 已在 10-31 简报登记。被引数字变化、采集时间变化、跨主题再遇，一律不写成新观点（§7.5 口径留档即可）。

三、可引用的 arXiv 号列表（均出自本批 materials，未做任何外部补齐）

本批直接可引（卡片头部字段 / TLDR 层）： - 2604.17227 — Cloud-native and Distributed Systems for LLM：研究路线图（survey · S2 4 / OA 0） - 2604.16548 — A Survey on the Security of Long-Term Memory in LLM Agents（重遇·engineering v111 锚点 · 26 / 0 / 1） - 2606.07001 — DataEvolver：基于多层级自演化的 LLM 自动化数据准备（重遇·本主题锚 231 · 5 / 0 / 0） - 2001.09977 — Towards a Human-like Open-Domain Chatbot（Meena / SSA · 1062 / 614 / 103）

交叉核验用（本批卡片污染块中出现，指向真实但归属他处）： - 2606.06240 — TOKI（2604.16548 / 2606.07001 两卡误并内容的真实出处，见 organized/paper_cards/102-2606-06240.md）

引用纪律：上述 4 个号在本批中均只到摘要层 / 卡片层，任何性能数字、方法细节、复现结论在回读 arXiv 正文前不得书写；2604.17227 在本主题不作锚，仅作 llm-infra 侧外部对照。

四、今晚接力建议（摘要）

  1. §1.11.3 记忆侧：用 2604.16548 的六阶段 × 四目标作"记忆侧失效模式坐标"骨架（借用、注明跨主题来源、不升锚）。
  2. §2.3 harness 生态候选：开第 37 节点，收 Ancienttwo/repo-harness（社区自建 file-backed harness），与 R110 锚 253 官方实现仓并列对照。
  3. §3 锚记录：本批无一件可升正式锚；候选为 2001.09977（历史地标）与 mahmoudrabie/agentic-ai（导航预备级），编号待分配。
  4. §7.5：新增 5 条信号级登记（ms-cookbook / gen-ai-pose-image / agentic-ai / repo-harness / 2604.17227）+ 3 条口径留档（2606.07001 / 2604.16548 / 2001.09977）。
  5. 数据清洗动作：在锚记录整理时对 3 张污染卡（076 / 104 / 140）只采信头部字段 + TLDR，并考虑向上游采集链报缺陷（与 engineering.md v157 已登记的同类缺陷合并为一条）。