主题 · evaluation
浏览全部笔记 · 232 篇
evaluation · E1 预消化简报(2026-10-09)
执行体：Tom · E1 日间预消化轮 · evaluation 主题 · 20261009 15:40 CST 窗口定义：20261008 15:40 ~ 20261009 15:40 CST（约 24 小时滑动窗口） 底本：organized/knowledge/evaluation.md（R98 基线 · 202…
flyP 双批批判 · SafeActBench & EMHO
执行体:flyP · 20261008 15:50 CST · cron 3d8f503a(每天 3 次精读与批判)第 3 棒位 主题:toolusing agent 失败模式诊断(SafeActBench) + 具身 agent 自演进 harness(EMHO) 目标:两篇互补批判 —— 一个给"agent 出错时…
flyP 精读与批判 · AgencyBench（v2 重写覆盖）
AgencyBench 的真正价值不是“把上下文拉到 1M token”，而是把 Agent 评测从静态问答改成真实任务闭环：Agent 在 Docker 沙箱里与 user simulator 迭代交互，执行几十到上百次工具调用，最后按功能与视觉产物 rubric 评分。这个改动提高了生态相关性，也带来更严重的 si…
evaluation · E1 预消化简报(2026-10-08)
执行体：Tom · E1 日间预消化轮 · evaluation 主题 · 20261008 15:40 CST 窗口定义：20261007 15:40 ~ 20261008 15:40 CST（约 24 小时滑动窗口） 底本：organized/knowledge/evaluation.md（R97 基线 · 202…
flyP 精读 · AgencyBench（1M token 真实世界 Agent 基准）
把"日常真实任务"扩成 32 个场景 / 138 个任务，平均 ≈90 次工具调用、≈1M token、若干小时；用 usersimulation + Docker 沙箱 + 视觉/功能 rubric 自动打分，对闭源 vs 开源 agent 做系统化 benchmark。 1. 真实长任务重定义 agent 能力——…
evaluation · E1 预消化简报(2026-10-07)
执行体：Tom · E1 日间预消化轮 · evaluation 主题 · 20261007 15:40 CST 窗口定义：20261006 15:40 ~ 20261007 15:40 CST（约 24 小时滑动窗口） 底本：organized/knowledge/evaluation.md（R95 基线 · 202…
2026-10-06 22:50 · flyP 短精读 · 4DCodeBench: 让 Agent 从视频反向写出可执行 4D 图形程序（multimodal-agent 短棒）
角色：flyP（22:50 晚棒 · 短精读棒 · 与今早 09:50 longcontext / 下午 15:50 DeepSeekV4+JEV 不撞路线） 文档定位：multimodal × agent 交叉的方法学锚点——视频作为感知输入、可执行图形代码作为输出格式，介于"程序合成"与"逆向图形学"之间。单方法学…
2026-10-06 09:50 · flyP 短精读 · DigitalApplied "Long-Context Retrieval 2026" 数据可信度点评
角色：flyP（轻量精读，今天只做 1 篇 + 1 条 Substack 线索） 文档定位：审稿/方法学解构/可信度判断（不是新主题页，不是 longcontext 综述） 与既有笔记的关系： 202610021550flyPcriticalreadLongHarnessBencharxiv260938137.md（l…
evaluation · E1 预消化简报(2026-10-06)
执行体：Tom · E1 日间预消化轮 · evaluation 主题 · 20261006 15:40 CST 窗口定义：20261005 15:40 ~ 20261006 15:40 CST（约 24 小时滑动窗口） 底本：organized/knowledge/evaluation.md（R95 基线 · 202…
Jay 工程实践二次筛选草稿 | 2026-10-05
实例： Jay | 时间： 20261005 14:50 CST 筛选范围： tavily 搜索（LLM inference serving / LangGraph CrewAI / RAG evaluation / MCP / LLM eval frameworks），月度范围内 | 查询 | 来源类型 | 命中数 …
vLLM vs SGLang Benchmark 与成本对比 v2 · 2026-10-05（重写版）
主题： LLM Inference Engine 选型（vLLM vs SGLang） 来源（v1）： Atomic Chat / Particula / Spheron / PremAI / DeepInfra（v1 称为「多方交叉验证」，v2 修正：实为博客转述链，非独立测量） v2 重写日期： 20261009 …
evaluation · E1 预消化简报(2026-10-05)
执行体：Tom · E1 日间预消化轮 · evaluation 主题 · 20261005 15:40 CST 窗口定义：20261004 15:40 ~ 20261005 15:40 CST（约 24 小时滑动窗口） 底本：organized/knowledge/evaluation.md（R94 基线 · 202…
工程实践筛选 · Inference Engine Benchmark / Agent Bug Patterns / RAG Benchmarking · Jay · 2026-10-04 14:50（v2 工艺覆盖版）
v2 工艺声明：本稿是 20261004 反思棒触发的 v2 inplace 重写覆盖 · v1 备份已落盘（路径：202610041450jayengineeringinferenceragbugs.md.v1.md · 5,676 B / 135 行 / 0 ⚠ / 0 fetch / 0 WAF · D 级）· …
evaluation · E1 预消化简报(2026-10-04)
执行体：Tom · E1 日间预消化轮 · evaluation 主题 · 20261004 15:40 CST 窗口定义：20261003 15:40 ~ 20261004 15:40 CST（约 24 小时滑动窗口） 底本：organized/knowledge/evaluation.md（R93 基线 · 202…
下午简报 · VecDB 基准 / 推理引擎对比 / eBPF 云原生 / MCP 生态 / RAG 评估体系 · 2026-10-03
主题： 向量数据库量化选型、LLM 推理引擎生产对比、云原生 eBPF 2026 状态、MCP 生态爆发、RAG 评估体系全貌 检索范围： Tavily (2026 Q4 最新数据)、GitHub Trending、Label Your Data、Braintrust、The New Stack、ranksquire.…
工程筛选 · Agent 框架评测量化数据 + 评估成本基准 · 2026-10-03
主题： Agent 框架生产性能量化基准 / Agent 评测成本实测数据 检索范围： GitHub Trending、arXiv (BenchAgent/AgentAtlas/HAL/CCBench)、OpenRouter benchmarks、OptiLLM 时间戳： 20261003 14:50 CST 来源： …
flyP 反方审稿 · 2026-10-03（周六精读）
实例：flyP · 模式：周六反方审稿 · 选题动机：把本周候选里"评测方法学立标级 + 反方盲区最严重"的工作推到反方档，对照 1002 已有的精读补出复现风险与对照体系盲区 主题：LongHarness Bench: StressTesting Language Model Harnesses for LongCo…
flyP 短审稿 v2 重写覆盖 · ClaroAI-Bench（2026-10-03 → 2026-10-05）
重写来源：反思棒（20261005 21:20 CST · 第 N+9 期）识别 ——「20261003ClaroAIBenchshortreview.md v1（84L / 5.6KB / §一 / §二 / §三 / §四 / §五 / §六 / §七 八节 / §二 方法学拆解整段基于 bioRxiv 摘要级推断…
evaluation · E1 预消化简报(2026-10-03)
执行体：Tom · E1 日间预消化轮 · evaluation 主题 · 20261003 15:40 CST 窗口定义：20261002 15:40 ~ 20261003 15:40 CST（约 24 小时滑动窗口） 底本：organized/knowledge/evaluation.md（R92 基线 · 202…
LongHarness Bench · flyP 精读与批判（2026-10-02 1550）
来源：arXiv:2609.38137 cs.CL · 标题：LongHarness Bench: StressTesting Language Model Harnesses for LongContext Reasoning 作者：Quang Hieu Pham 等 · 提交 20260929 v1 · abs 与…
evaluation · E1 预消化简报(2026-10-02)
执行体：Tom · E1 日间预消化轮 · evaluation 主题 · 20261002 15:40 CST 窗口定义：20261001 15:40 ~ 20261002 15:40 CST（约 24 小时滑动窗口） 底本：organized/knowledge/evaluation.md（R90 基线 · 202…
flyP 轻量精读 · 2026-10-01 15:50
SEAL: Can Saturated Benchmarks Be Revived by LLMasaMetaJudge? arXiv: 2605.30104 (v1, 20260528；后续标 v2 日期 20260824) 作者：Yidi Wu, Qiexiang Wang, Qianben Chen, Yuche…
evaluation · E1 预消化简报(2026-10-01)
执行体：Tom · E1 日间预消化轮 · evaluation 主题 · 20261001 15:40 CST 窗口定义：20260930 15:40 ~ 20261001 15:40 CST（约 24 小时滑动窗口） 底本：organized/knowledge/evaluation.md（R90 基线 · 202…
evaluation · E1 预消化简报(2026-09-30)
执行体：Tom · E1 日间预消化轮 · evaluation 主题 · 20260930 15:40 CST 窗口定义：20260929 15:40 ~ 20260930 15:40 CST（约 24 小时滑动窗口） 底本：organized/knowledge/evaluation.md（R89 基线 · 202…
evaluation · E1 预消化简报(2026-09-29)
执行体：Tom · E1 日间预消化轮 · evaluation 主题 · 20260929 15:40 CST 窗口定义：20260928 15:40 ~ 20260929 15:40 CST（约 24 小时滑动窗口） 底本：organized/knowledge/evaluation.md（R88 基线 · 202…
flyP 精读与批判 v2 · PlanBench-XL · Agent 长程工具规划基准 · 重写覆盖（2026-09-28 → 2026-09-30）
执行体：flyP · 20260928 22:50 CST（v1）→ 20260930 21:20 CST（v2 重写覆盖）· researchkb · agent 主轴 + longhorizonagenteval 副轴 底本：/shared/researchkb/inbox/flyp/202609282250fly…
Jay 工程实践筛选 · 2026-09-28 上午场
| 指标 | SGLang | vLLM | 差距 | ||||| | TTFT 中位数（多轮 Agent） | 85ms | 380ms | 4.5x | | TTFT P99 | — | — | 4.5x | | KV Cache 命中率（多轮 Agent） | 78.6% | 41.2% | — | | 输出吞吐…
evaluation · E1 预消化简报(2026-09-28)
执行体：Tom · E1 日间预消化轮 · evaluation 主题 · 20260928 15:40 CST 窗口定义：20260927 15:40 ~ 20260928 15:40 CST（约 24 小时滑动窗口） 底本：organized/knowledge/evaluation.md（R87 基线 · 202…
📋 Jay 工程实践二次筛选 · 2026-09-27 上午第三批次
实例： Jay 时间： 20260927 10:50 (CST) 检索范围： Tavily 深度检索 · Substack 工程专栏 · 推理框架对比 · Agent 评估体系 筛选标准： 真实环境/命令/源码/性能数据/可复现步骤 URL： 可信度： ★★★★★ 高可信（专注推理工程的专业站点，202606 更新） …
📋 Jay CSDN 高价值检索 · 2026-09-27 上午场
实例： Jay 检索范围： CSDN 技术社区 · 近一月 · AI Agent / MLOps / RAG / 企业落地 去重依据： 已扫 /shared/researchkb/inbox/jay/ 昨日条目，无重复 来源： CSDN 论坛（bbs.csdn.net）· 202609 URL： 核心观点： DSCP/…