agent · E1 预消化简报(2026-10-31)
批次:宿主机增量清单 work-guard job
8958350c-dd9b-4339-a8a5-e6ba09fc70cf(iteme1_prep:agent,score 8,清单材料 8 件)。 对照基线:organized/knowledge/agent.mdv126(cutoff 2026-10-31 10:30 CST,负责人 spark)。 本轮结论:净增 2 条(其余 6 件为 v126 已实质处理的重覆盖件,非新增观点)。未做全库扫描、未做网页搜索补料。 证据等级:本轮 L0(库内既有资产交叉比对) 为主 + L1(repo_card / paper_card 字段级);未安装、未运行、未实测;L3 全文级 0 件。
0. 先说最重要的:清单 8 件里只有 2 件是新的
清单里的材料与今天 10:30 的 v126 批次高度重合。逐件比对 knowledge/agent.md 正文(排除 §9.4 锚点区行)后:
| 清单材料 | v126 正文覆盖情况 | 本轮判定 |
|---|---|---|
note-links inbox/stephen/2026-10-31-1000-news-tldr-ai.md |
§1 已展开(DeepMind 经济学框架 / Raindrop swarm / Altman"一万亿小群体" / Droid 1.0 / Mistral Large 4 列入 §6 未展开条目) | 重覆盖,非新增 |
note-links inbox/stephen/2026-10-31-0910-news-x-vip-radar.md |
8 条原帖全部有落点:Mollick 协调论→§1;Mollick 协调论→§1 论证结构级;Anthropic self-assessment→§1+T317;Artificial Analysis 换基准 / 专家锚定效应→§1 邻接条目;药物发现 / AI for Science / HuggingFace 入门 / GPT-6 Pro 犯罪研究→§6 未展开条目 | 重覆盖,非新增 |
paper_cards 714-2608-01678.md(Skill-α) |
§1 正文已按 arXiv 摘要页 v3 + ejhshen/skill-alpha README 双源核实展开(T312 / 脉络二 / Q105.599 / 争议②) |
重覆盖,且 v126 深度已超本清单卡片 |
repo_cards 4681-anthropics-single-agent-loop-kit.md |
§1 + T315 + 脉络三 + Q105.600 | 重覆盖 |
repo_cards 4577-zapier-automationbench.md |
§1 + T314 + 脉络四 | 重覆盖 |
repo_cards 4575-opendatabox-workspace-bench.md |
§1 + T314 + 脉络四 + §3 争议⑤ + Q105.597 | 重覆盖 |
repo_cards 4602-typesafe-ai-skills.md |
仅 §9.4 URL 锚点,正文无实质条目 | 🟢 净增 1 |
repo_cards 4576-stanford-iris-lab-meta-harness.md |
仅 §9.4 URL 锚点,正文无实质条目 | 🟢 净增 2 |
这两条为什么算净增:它们在 v123 轮曾作为 "repo_card 立标" 出现在 knowledge/archive/agent-changelog.md(该轮记为 "7 件 repo_card 构成能力封装+交付协议+本地适配三通道实体化(T283):typesafe-ai/skills(2778★)· meta-harness(2603.28052 官方仓)…"),但只是立标式一句话,随后被移出活文档正文——当前 v126 正文对二者零实质描述。二者在库内另有独立攻略文件(organized/guides/typesafe-ai-skills.md、organized/guides/stanford-iris-lab-meta-harness.md),故本轮可在不外网检索、不凑字数的前提下给出可核查的实质增量。
1. 今日该主题最重要的增量
增量 1 · stanford-iris-lab/meta-harness — harness 优化从"手工调"变成"用 coding agent 自动搜"
- 来源:
organized/repo_cards/4576-stanford-iris-lab-meta-harness.md(仓库https://github.com/stanford-iris-lab/meta-harness· 1,730★ · +21/周 · Python · MIT · 最近提交 2026-10-02 · 成熟度 research · 采集于 2026-10-31);实质内容取自库内攻略organized/guides/stanford-iris-lab-meta-harness.md(作者 Jay,更新 2026-08-20),其核验链已含 GitHub README + arXiv 摘要页 + 作者主页三方交叉。 - 要点:论文
arXiv:2603.28052《Meta-Harness: End-to-End Optimization of Model Harnesses》,COLM 2026,来自斯坦福 IRIS Lab + Cornell + MIT。机制:把 coding agent(默认 Claude Code)作为外层搜索器,自动搜索/演化 harness 代码——把历史候选的源代码 + 执行轨迹 + 评估分数放进文件系统,让 proposer 用grep/cat自由读取。每次迭代最多利用 10M tokens 诊断上下文,远超此前方法的 26K 上限。已核实数值:文本分类(GPT-OSS-120B)48.6% vs ACE 40.9%,上下文 203K → 45.5K 字符;检索增强数学推理(200 道 IMO 级题)5 个未见模型平均 +4.7 分(34.1% → 38.8%);TerminalBench-2(Claude Opus 4.6)76.4% pass rate,排名第 2。⚠ 攻略已显式判定原帖声称的 "Qwen3-8B ALFWorld 96.9%" 在论文/README/作者主页三处均无出处,属原帖单方面主张,已从攻略删除——不可引用。 - 与活文档
knowledge/agent.md现有脉络的关系:直接补强 v126 §2 脉络三(harness 成为一等工程对象),且补上该脉络目前唯一的缺口。v126 脉络三靠 Droid 1.0 的"跨模型调优才可泛化"判据(T313) + v125 Anthropic kit + v124wmux立住"harness 是可被独立工程化、独立测量的对象"这一主张层;但 v126 全文没有任何一条材料回答"harness 本身如何被搜索出来"。Meta-Harness 恰好提供该缺失的一环:Droid 1.0 说"要跨模型调优才泛化",Meta-Harness 说"而且调优这一步本身可以自动化"。两条同向且互补,不冲突。 - 建议归入哪一节:
- §1 现状全景:新增一条以 ⚠⚬⚬⚬ 标注的要点条目(与 T309/T310 同级),明确写清 "COLM 2026 顶会论文、10M tokens/步、方法边界"。
- §2 脉络三:改写为「harness 成为一等工程对象,且其优化过程本身可被自动化搜索」,把 Droid 1.0 → Meta-Harness 排成一条证据链。
- §5 趋势:新增 T319(见 §5 建议)。
- §8 跨主文档边界:
meta-harness→ coding-agents(主) + agent(邻接),并与guides/x-tip-20261010-harness-engineering-performance-gap.md已记的 "6× 性能差距" 做同源互引(⚠ 二者口径不同:6× 来自该 x-tip 攻略所引 Meta-Harness 论文的数字,本轮未核该 6× 出处,不得与上列 48.6%/+4.7 分/76.4% 相加或相减)。 - ⚠ 必须保留的边界:① 论文实验用 Claude Code 作 proposer,换其他 coding agent 需自行适配 wrapper 且效果可能不同;② 搜索集与 held-out 测试集必须严格区分,存在搜索集过拟合风险;③ 演化出的 harness 可能难以解释;④ 每次迭代 10M tokens → 成本高,攻略明确提示需关注预算;⑤ 适用于"模型固定、优化点在 harness 层 + 有稳定评估循环 + 有可观察失败模式",不适用于增益须来自换权重、一次性工作流、搜索空间过小或评估噪声过高的场景。
增量 2 · typesafe-ai/skills — skill 的第二类形态:不是"怎么做",而是"怎么判断"
- 来源:
organized/repo_cards/4602-typesafe-ai-skills.md(仓库https://github.com/typesafe-ai/skills· 2,855★ · +7/周 · MIT · 最近提交 2026-10-23 · 成熟度 research · 采集于 2026-10-31);实质内容取自库内攻略organized/guides/typesafe-ai-skills.md(作者 spark,更新 2026-10-24),核验链含 README +SKILL.md全文 +docs.typesafe.ai的 llms.txt/api.md/quickstart.md/sdk-python.md/jev-1.13.md/agent-skill.md 共 8 份一手来源。 - 要点:这是一个几乎只有一个
SKILL.md(约 10 KB)的极简 skill 仓库,让编码 Agent 掌握 TypeSafe System One API。底层模型是 Jev——路线与 GPT/Claude 的"生成文本"完全不同:接收自然语言与结构化状态,吐出带类型、带概率的判断结果,四种原语:Choice(选一个 + 各选项 probabilities + confidence)、Score(有序档位打分)、Noul(陈述真假的 0–1 概率)、Box(图片目标定位)。核心命题:不是所有 AI 任务都需要"生成",很多任务需要的是"判断";准则一句话——"Keep known rules, calculations, exact lookups, and execution in code." 落地场景:工单路由、RAG 段落筛选、引用核查、LLM 护栏、合规分类、抽取级联、实体对齐。⚠ 官方 "Jev 1.13 jaggedness" 页列出的失败模式中,最值得注意的一条是 Choice 的选项顺序会影响答案(官方观察到偏向靠前选项)。 - 与活文档
knowledge/agent.md现有脉络的关系:给 v126 §2 脉络二(技能从"人工产物"升级为"可优化对象")补上一个此前缺失的维度——skill 的"用途分类"。v126 脉络二的时间线是:v124KalarisLabs/research-agent-skills280+ 学科化技能(广度)→ v125 Anthropic kit 把子 agent 折叠为"挣得自己上下文的 skill"(压缩)→ v126 Skill-α 用 RL 学渐进式生成策略(如何产生)。typesafe-ai/skills落在另一个正交轴上:它证明skill 不只是"如何做事"的操作手册,还可以是"如何产出可编程的判断结果"的方法论——且它的安装形态(claude plugin marketplace add/npx skills add/ 手动拷目录)本身就是"skill 作为可分发交付单元"的又一例证,与 v126 §5 T315 的"可插拔、可本地运行"判断同向。 - 建议归入哪一节:
- §1 现状全景:新增一条 ⚠⚬ 标注条目(成熟度 research;⚠ 攻略明确 未调用 TypeSafe API,所有代码为文档转录)。
- §2 脉络二:补一句区分——"技能的两条独立轴:v124/v125/v126 处理的是『技能如何被组织/被折叠/被生成』,本条处理的是『技能承载何种原语』"。
- §5 趋势:不单独立 T(证据强度不足以单列),建议作为脉络二内的旁证并入 T312 的注解。
- §8 跨主文档边界:
typesafe-ai/skills→ llm-application(主/邻接) + agent(邻接),与 v119 AnchorA-EVO-Lab/a-evolve、v125 AnchorJayLZhou/Awesome-Agent-Skills、addyosmani/agent-skills、mattpocock/skills同族(v126 §7 已列过这一族,可直接挂靠)。 - ⚠ 必须保留的边界(攻略已逐条列出,本轮只取其中最硬的 5 条):① Jev 不是计算器——数字符、统计出现次数、长列表数条目都会错,且规模越大误差越大;② 日期当文本读,不是有序量——"哪个在前/相隔多久"不可靠;③ 不要用 score 做数值插值;④ state 会按每个问题各算一次上下文额度;⑤ "Typed output guarantees the interface, not truth"(官方原话)——类型化输出保证的是接口,不是真理。⚠ 另有:仓库最近提交 2026-09-12(库内攻略记"距今约一个半月没动"),但 SKILL.md 指向 docs.typesafe.ai 实时文档(官方称 live docs 才是 source of truth),故文档层新鲜度不依赖仓库更新,SKILL.md 内无硬编码版本号。⚠ 别名
jev-latest当前指向哪个具体版本未核(需GET /v1/models实查);定价未查。
2. 值得警惕的矛盾或待核实说法
(1)★ 最重要:2603.28052 的"6× 性能差距"与本轮核实的三个数值口径不同,不可混用。
organized/guides/x-tip-20261010-harness-engineering-performance-gap.md 记载 "固定模型,换 harness 最高产生 6× 性能差距",并归因于 Meta-Harness arXiv:2603.28052;而本轮从 guides/stanford-iris-lab-meta-harness.md(作者主页核验)核到的三个数是 48.6% vs ACE 40.9%、+4.7 分、TerminalBench-2 76.4%——均非 6×。⚠ 本轮未核 "6×" 的出处(未读该论文 PDF 主表)。"6×" 与 "48.6% vs 40.9%" 是否同源、是否不同任务/不同基线口径,不得相减、不得并列成同一结论,须留待核对论文主表后统一表述。建议今晚在活文档中把 "6×" 降级为"某攻略所记、待核"。
(2)★ "Option 顺序影响答案"与 Raindrop "姓名顺序决定领导地位"——两条独立材料指向同一现象,但证据强度差一个量级。 Raindrop 的姓名顺序实验(v126 T309)是厂商博客单一实验、无显著性检验;Jev 的选项顺序偏好是官方自陈的已知毛刺、但攻略未给出效应量。二者不是同一研究,不可互为佐证;但合看指向一个可操作的共同命题:agent 行为对语义无关的排列顺序敏感(对应 v126 Q105.596)。⚠ 建议单独立一问,明确标注"两条材料证据等级不同、机制不同、仅在现象层同向"。
(3)待核实:Meta-Harness 与 AutoSaddler 的横向对比。
archive/agent-changelog.md v54 段记 "AutoSaddler arXiv:2608.23041 · 46.9% avg vs SWE-agent 37.3% / GEPA 42.5% / Meta-Harness 35.3%"——即在同一基准上 Meta-Harness 得 35.3%,低于 AutoSaddler 的 46.9%。⚠ 这与本轮 Meta-Harness 攻略所述 "TerminalBench-2 上 Claude Opus 4.6 达 76.4%" 不是同一基准/同一口径(changelog 段未注明 35.3% 对应哪个任务集)。⚠ 本轮无法判定二者关系,且 changelog 中的旧对比数字不在 v126 正文。若今晚要写 Meta-Harness,必须避免"最强 harness"式表述——库内至少存在两个方向相反的数据点(35.3% 偏低 vs 76.4% 偏高),口径待核。
(4)采集态数值变化,不作趋势论据。
single-agent-loop-kit 本清单卡片为 456★ / +21/周,v126 正文记 453★ / +140/周(v125 曾记 213★ / +0/周)。⚠ 星数/周增是采集态快照,不是新观点;v126 已把 kit 星数跃升登记为 T315 的弱信号/旁证,本轮不重复登记、不改写 T315。typesafe-ai/skills 2,855★、meta-harness 1,730★ 同理——数值只用于定位,不用于论证。
(5)元数据不一致(如实登记,不静默修正)。
typesafe-ai/skills 的库内攻略记 2,771★ / 最近提交 2026-09-12,而清单 repo_card 记 2,855★ / 最近提交 2026-10-23——两者均为采集态且采集时点不同(攻略 2026-10-24,卡片 2026-10-31)。⚠ 近一月提交差异需以仓库实际提交历史为准,本轮未运行 git log 核实。⚠ 攻略本身亦标注 "stars 2771 与周增 +0:卡片采集于 2026-10-24,本次未独立用 GitHub API 核对"。
(6)"未展开条目"不等于"不相关"。
v126 §6 已把 Anthropic 药物发现 / AI for Science 扩容 / HuggingFace 入门资源 / Mollick GPT-6 Pro 犯罪研究 / Mistral Large 4 OSS 五类登记为"已读、不入正文"。本轮沿用该判定(清单材料里它们仍以同一批原帖形式出现,不重复引入、不凑篇幅)。⚠ 提示:HuggingFace 那条(https://x.com/huggingface/status/2115507199623803084)链接指向内容自 v126 起持续"未核验",若今晚要凑进 agent 主轴需先解除未核状态。
(7)本轮材料仍全为"非直接同行评审"形态。 Skill-α(被引 2 / OpenAlex 0)虽为 arXiv 论文,但 PDF 分数表未取到;Meta-Harness 虽有 COLM 2026 顶会论文背书,但本轮未读 PDF 主表;其余为 repo_card 字段级与厂商公告。本轮 L3 全文级 0 件。
3. 可引用的 arXiv 号列表
本轮新增(正文尚无实质条目者)
- arXiv:2603.28052 — Meta-Harness: End-to-End Optimization of Model Harnesses(COLM 2026)⚠ 已在 v126 §9.1 arXiv 锚点区,本轮不重复计入锚点净增;⚠ "6× 性能差距"未核。
本轮重覆盖(v126 正文已实质处理,仅复核不出新观点)
- arXiv:2608.01678 — Progressive Agent Skill Generation via Reinforcement Learning(Skill-α · 被引 2 · OpenAlex 0)⚠ PDF 分数表未取到。
与本轮材料相关、v126 锚点区已有登记(引用时须与 §9.1 口径一致,勿重复计数)
- arXiv:2608.24569 — 约束弱化失效曲线(v125 T298)
本轮净增 arXiv = 0;净增 DOI = 0;净增 URL = 0(两条新条目 typesafe-ai/skills 与 stanford-iris-lab/meta-harness 的 GitHub URL 均已在 v126 §9.4 锚点区;2603.28052 亦已在 §9.1)。今晚若要落盘,需新增的是"正文条目",而非锚点。
4. 今晚落盘建议(最小改动,不重写综述)
- §1 增 2 条:Meta-Harness(⚠⚬⚬⚬)、typesafe-ai/skills(⚠⚬),各带完整出处与边界。
- §2 脉络三改写一句:把 Droid 1.0 → Meta-Harness 排成 "harness 可工程化 → harness 优化可自动化" 链。
- §2 脉络二补一句:区分 skill 的"生成轴"与"原语轴"。
- §5 增 T319 一条(harness 优化过程本身可被 coding agent 自动搜索;⚠ 顶会论文但主表未核;⚠ 库内存在口径相反的 35.3% 对比待核)。
- §3 争议区增一条:"6×" 与 48.6%/+4.7 分/76.4% 的口径冲突;"Option 顺序"与"姓名顺序"现象同向但证据等级不同。
- §8 跨主文档边界:两条分别锚 coding-agents(主)+agent(邻接)、llm-application(主)+agent(邻接)。
- 不新增锚点条目(§9 保持 v126 全量不变)。
5. 本轮已检查的来源(全部清单内材料,无清单外补料)
清单 8 件材料(全部读取)
1. inbox/stephen/2026-10-31-1000-news-tldr-ai.md(TLDR AI · 标题级一行)
2. inbox/stephen/2026-10-31-0910-news-x-vip-radar.md(X 名人雷达 · 8 条原帖全文转述)
3. organized/paper_cards/714-2608-01678.md
4. organized/repo_cards/4681-anthropics-single-agent-loop-kit.md
5. organized/repo_cards/4602-typesafe-ai-skills.md
6. organized/repo_cards/4577-zapier-automationbench.md
7. organized/repo_cards/4576-stanford-iris-lab-meta-harness.md
8. organized/repo_cards/4575-opendatabox-workspace-bench.md
活文档与既有资产(读取用于比对,不改写)
- organized/knowledge/agent.md(v126 全篇,用于逐件覆盖比对)
- organized/knowledge/archive/agent-changelog.md(v123 / v54 段,用于确认两件的"立标但未入正文"状态)
- organized/guides/typesafe-ai-skills.md(库内攻略 · spark · 2026-10-24)
- organized/guides/stanford-iris-lab-meta-harness.md(库内攻略 · Jay · 2026-08-20)
- organized/guides/x-tip-20261010-harness-engineering-performance-gap.md(用于定位 "6×" 待核项)
- organized/queue/work-queue.md(2026-10-31 12:00 生成)
- organized/knowledge/lessons/lessons-2026-W42.md 目录(未逐条展开,未产出可引用增量)
未做:未全库扫描;未网页搜索;未修改清单 / 基线 / 认领记录 / 其他任务文件 / 定时配置;未 git;未写他人 inbox;未读取或输出任何密钥、Token、凭证。
字数说明:本轮按"材料不足则简明处理、不强行达到旧提示词字数"执行——清单 8 件中 6 件为同日 v126 已实质处理的重覆盖件,故只对 2 条真净增给出完整增量条目,而非以重述旧内容凑满篇幅。