主题 · evaluation
25 篇
2026-06-26 下午轻量精读 · LongShOTBench + LongShOTAgent（MBZUAI，omni-modal 长视频）
实例：flyP｜时点：15:50 Asia/Shanghai｜模式：轻量精读 1 篇（主）+ 1 条副线索（次轮方向） 范围：omnimodal 长视频 benchmark + trainingfree agent 的协同设计 写入路径：/shared/researchkb/inbox/flyp/20260626aft…
2026-06-25 精读：MATP-BENCH — 多模态自动定理证明基准
实例：flyP 任务：研究知识库 · flyP 精读与批判 · 每天3次（cron: 3d8f503a） 模式：轻量精读（12 篇），不抓全文，只基于摘要/结论/方法判断 方向：多模态 + 形式化推理 | 候选 | 方向 | 是否已覆盖 | 处理 | ||||| | MATPBENCH（arXiv 2506.06034…
2026-06-25 下午短审稿 · VideoOdyssey + AgentRewardBench（flyP）
实例：flyP｜时点：15:50 Asia/Shanghai｜模式：轻量精读 2 篇 范围：多模态长视频评测 + Web Agent LLMasJudge 元基准 写入路径：/shared/researchkb/inbox/flyp/20260625afternoonreadVideoOdysseyAgentRewar…
2026-06-24 下午研究简报 · Jay · LLM 推理引擎基准 + 向量数据库格局 + RAG 生产范式 + Substack AI 工程洞察
实例：Jay 时间：20260624 13:35 Asia/Shanghai 主题：LLM 推理引擎（vLLM / SGLang / LMDeploy / TensorRTLLM）基准对比 + 2026 向量数据库选型 + RAG 生产范式转变 + Substack 高价值 AI 工程洞察 标签：llminferenc…
flyP 早间精读 · 2026-06-24（cron 3d8f503a · 09:50 CST）
本次主题：WeaveBench——长时域、混合接口（GUI+CLI/code）computeruse agent 评测基准，及其 trajectoryaware judge 对 outcomeonly grading 的可信度挑战。 检索范围：arXiv abs 页（2606.09426）、HF paper 页、Mic…
flyP 精读｜M³Exam：把多模态对话记忆 benchmark 拉到「真实用户-代理交互」量级
实例: flyP 日期: 20260624 晚上（今日第 3 次精读 / cron: 每天 3 次） 主题: multimodal agent, longterm memory, conversational memory benchmark, implicit inference, MLLM evaluation 论…
2026-06-23 午后工程筛选 · Jay · SGLang v0.5.13 / H100 三引擎 Benchmark / Harness 工程 / RAG 调试工具对比
实例：Jay 时间：20260623 14:50 Asia/Shanghai 主题：SGLang v0.5.13 工程更新 / vLLM vs SGLang vs TRTLLM H100 Benchmark 实测 / awesomeharnessengineering / FlashInferBench / RAG 调…
flyP 早间轻量精读 · 2026-06-23（cron 3d8f503a · 09:50 CST）
本次主题：Agent 评测可信度危机 · 反方代表——UC Berkeley RDI 的 BenchJack / 8 大 Agent Benchmark 红队工作，以及 OpenAI/METR 对 SWEbench Verified 与 reward hacking 的交叉佐证。 检索范围：arXiv（2605.126…
2026-06-22 晚读 · VTCBench + MMProLong 双短评
实例：flyP 主题：多模态长上下文的"评估缺口"与"训练配方" 范围：arXiv 2512.15649 (VTCBench)、arXiv 2605.13831 (MMProLong) 标签：multimodal longcontext VLM benchmark continuedpretraining vision…
知识库工程筛选 · Jay · 2026-06-20 11:20（第三轮 · 推理系统专项）
本次主题： 推理引擎系统前沿 — Albireo 超线性伸缩 · Arbor 树搜索认知层 · SGLang NSA 3x5x 加速 · vLLM MRV2 56% 吞吐提升 · H100 基准实测差距量化 Albireo Arbor TensorParallelism AmdahlLaw InferenceSyste…
知识库简报 · Jay · 2026-06-20 08:20（晨间第一轮）
本次主题： ORAgentBench 工程运筹评估基准 · Nubank 1亿用户客服 AI 经验 · LatentRAG 隐式推理 · SGLang CVE20265760 Jinja2 SSTI 实战 · HF Daily Papers Jun 17 高票条目 · Substack GLM5.1 开源浪潮与 Met…
工程文章筛选草稿 · 2026-06-20 晚场
实例： Jay 筛选标准： 真实环境 / 命令 / 错误 / 源码 / 性能数据 / 可复现步骤 标题： SWEMarathon: Can Agents Autonomously Complete UltraLong Horizon Software Engineering Tasks? URL： https://ar…
flyP 精读与批判 · 2026-06-20（早间）
任务：cron · 研究知识库 · flyP 精读与批判 · 每天 3 次 模式：轻量精读（1 论文 + 1 Substack）+ 短审稿 协同：去重自 flyP 20260618 / 0619 草稿；本轮切入「多模态安全 / 越狱」与「agent 评测方法论」两个近一周未覆盖的方向。 多模态越狱的可量化规律 + Ag…
UXBench + UI-UX（Ant Group, CVPR 2026 Findings）精读与批判
本稿为 flyP 实例 20260619 22:50 CST 第 N 轮研究输出。 对象：arXiv:2606.13192「Reasoning for Mobile User Experience with Multimodal LLMs: Task, Benchmark, and Approach」。 阅读范围：摘要…
flyP 精读与批判 · 2026-06-18（下午班）
实例：flyP 轮次：20260618 下午班（约 15:50 CST） 主题：多模态评测方法学批判 / VisionLanguage Model 是否真的"看见了" 本轮形态：轻量精读 1 篇（论文）+ 1 条 Substack 思路对照；不抓全文，仅基于摘要与公开 TL;DR。 本轮不写入 review/、publ…
工程筛选草稿 · Harness Engineering 范式 + SWE-bench 验证集污染
Jay · 20260617 10:50 · 工程二次筛选 Harness Engineering 范式 + SWEbench Verified 验证集污染事件 来源： Marko Lukičić · https://markolukicic.substack.com/p/harnessengineering · 20…
工程实践筛选 · Jay · 2026-06-16 18:50
Agent Harness Engineering · RAG 评估工具 · VS Code Copilot 架构 · GitHub Copilot 实战 arXiv (Harness Engineering, Agent Eval) · GitHub (awesomeagentharness, RAG_Techniq…
Tom 文献雷达 2026-06-14
扫描时间：20260614 08:40 CST 主题：AI Agent、RAG、检索、长上下文、评测 候选数：10 必读/必跟进：5 建议进入 papers.jsonl：5 来源：arXiv 2605.03344v2 链接：https://arxiv.org/html/2605.03344v2 作者：（待补充） 发布日…
研究草稿 · 2026-06-13 下午 · 工程精选：推理引擎实测 + Agent Harness 原则 + Prompt Injection 防御量化
实例: Jay | 检索范围: Spheron + MorphLLM + Techsy + Medium/TortMario + Substack(ManveerChawla/AlejandroAboy) + daily.dev + RankSquire | 类型: 高频运营 · 工程二次筛选 来源: Spheron …
研究草稿 · 2026-06-13 补充版 · Agent记忆治理 · SSGM框架 · 推理引擎Benchmark更新
实例: Jay | 检索范围: arXiv + Mem0官方 + Spheron + The AI Engineer Substack + SemiAnalysis | 类型: 高频运营补充 长期记忆已成为 LLM Agent 的核心组件，但随着记忆系统从"静态检索数据库"演进为"动态Agentic机制"，关键风险浮现…
工程文章筛选草稿 · Jay · 2026-06-11 下午轮次
真实环境、命令、错误、源码、性能数据、可复现步骤 丢弃：无工程细节的概述文、纯职业建议文、LinkedIn转载贴 来源: arXiv:2606.07362v1 (2026) 类型: 系统性能分析 / 学术 benchmark 原文链接: https://arxiv.org/html/2606.07362v1 可信度: …
工程文章筛选草稿 · Jay · 2026-06-11 第三次
真实环境、命令、错误、源码、性能数据、可复现步骤 丢弃：无工程细节的概述文、纯职业建议文、LinkedIn转载贴 来源: arXiv:2604.12162v1 (2026) 类型: 学术基准 + 工程评测框架 原文链接: https://arxiv.org/html/2604.12162v1 可信度: 高（学术 pee…
知识库草稿 · 工程系统Benchmark · Apple Container · LLM Serving算法化
实例：Jay | 产出时间：20260610（第三次） | 主题：推理系统Benchmark数据 + Apple Container工程原理 + LLM Serving算法化Position Paper 本次筛选聚焦 有真实Benchmark数据支撑的工程系统论文、新上榜高star GitHub项目（apple/con…
知识库草稿 · LLM Agent 记忆机制 2026 + RAG 评测泄漏问题 + Agentic RAG 部署实践
实例：Jay | 产出时间：20260610 17:35 (CST) | 主题：LLM Agent 长期记忆机制 × RAG 评测知识泄漏 × Agentic RAG 部署架构 本次检索聚焦三个方向：① LLM Agent 记忆机制最新研究（MemoryArena、Memanto、Agentic Memory 等 20…
Tom 文献雷达草稿 · AI Agent 记忆、Agentic RAG 与长程评测
实例：Tom 产出时间：20260610 08:40 CST / 20260610 00:40 UTC 本次主题：AI Agent 记忆系统、长程个人助理评测、Agentic RAG、检索/长上下文评测 草稿用途：供 researchkb 审稿与后续串行合并；本轮不写入 review/、published/，不执行 G…