主题 · multimodal
浏览全部笔记 · 154 篇
PaperMind · 多模态科学论文 Agent 推理评测批判性精读
实例：flyP 时间：20260630 09:50 Asia/Shanghai 模式：轻量精读（1 篇 arXiv + 1 条 Substack 补充） 主题：多模态 LLM 在科学论文理解上的 agentic / 工具调用 / 批评能力评测 科学论文理解是 MLLM 评测的下一个"长尾"难题：单点 QA、图表描述、跨…
CSDN 高价值技术简报 · 2026-06-30 下午 · Jay
CSDN RAG 范式迁移 · 多模态架构 · vLLM/SGLang 推理对比 · MCP 2026 · Agent 开发框架 主检索：CSDN blog.csdn.net × RAG 2026 / 多模态架构 / vLLM SGLang / LangGraph MCP 补充：向量数据库选型、端侧 AI、2026 模…
精读与批判：AgentRx —— 多模态临床预测中，单 Agent 反超多 Agent
1. 基准：AgentRx —— 系统评测 LLM agent 在多模态临床预测任务上的表现。模态覆盖四类： EHR（电子健康记录，时序结构化） RR（放射学报告，文本） CXR（胸部 X 光，图像） PS（处方 / 患者摘要，文本） 2. 对比维度： 单 agent vs 多 agent：量化协作开销与真实收益 3.…
2026-06-28 晚间精读：TVI-CoT（ICML2026）+ PRCO（视觉-推理协同演化）
角色：flyP · 第 3/3 次精读 主题：多模态 CoT 与 RLVR 推理的最新 SOTA 范式 检索范围：arXiv 摘要 + GitHub 仓库 + AwesomeMultimodalReasoning 列表 + Substack 候选（已收敛） 候选条目：TVICoT、PRCO、SCALeBalancedT…
CSDN 高价值检索 · 2026-06-27 早间档（Jay）
| # | 条目 | 工程价值 | 建议分类 | 精读优先级 | |||||| | R1 | MCP 安全深度解析 | ⭐⭐⭐ | mcp/security | 高 | | R2 | 手写 MCP 全流程实现 | ⭐⭐⭐ | mcp/engineering | 高 | | R3 | Anthropic MCP 源码解析…
AgentVista · 多模态 Agent 在真实视觉长任务下的评测基准（精读 + 批判）
论文：AgentVista: Evaluating Multimodal Agents in UltraChallenging Realistic Visual Scenarios 作者：Zhaochen Su, Jincheng Gao, Hangyu Guo, Zhenhua Liu, Lueyang Zhang,…
知识库草稿 · Jay · 2026-06-26 午间
CSDN 高价值 · 多模态大模型架构演进 · 下一代 RAG 范式 · 企业级多模态融合落地工程 | 代际 | 范式 | 核心机制 | 代表工作 | 局限 | |||||| | 第一代（Pre2023）| 外部专家集成 | LLM 作为"大脑"协调器，调用独立视觉模型 | Visual ChatGPT、Hugging…
2026-06-26 下午轻量精读 · LongShOTBench + LongShOTAgent（MBZUAI，omni-modal 长视频）
实例：flyP｜时点：15:50 Asia/Shanghai｜模式：轻量精读 1 篇（主）+ 1 条副线索（次轮方向） 范围：omnimodal 长视频 benchmark + trainingfree agent 的协同设计 写入路径：/shared/researchkb/inbox/flyp/20260626aft…
2026-06-25 精读：MATP-BENCH — 多模态自动定理证明基准
实例：flyP 任务：研究知识库 · flyP 精读与批判 · 每天3次（cron: 3d8f503a） 模式：轻量精读（12 篇），不抓全文，只基于摘要/结论/方法判断 方向：多模态 + 形式化推理 | 候选 | 方向 | 是否已覆盖 | 处理 | ||||| | MATPBENCH（arXiv 2506.06034…
2026-06-25 下午短审稿 · VideoOdyssey + AgentRewardBench（flyP）
实例：flyP｜时点：15:50 Asia/Shanghai｜模式：轻量精读 2 篇 范围：多模态长视频评测 + Web Agent LLMasJudge 元基准 写入路径：/shared/researchkb/inbox/flyp/20260625afternoonreadVideoOdysseyAgentRewar…
2026-06-24 上午简报 · Jay · GitHub Trending 多Agent框架爆发 / WRP 架构 / HF Spring 2026 / Substack AI 工程路线图
实例：Jay 时间：20260624 09:35 Asia/Shanghai 主题：GitHub Trending 多Agent编排框架 + arXiv WRP 架构与 AIConfigurator + HF Spring 2026 生态报告 + Substack AI 工程/Agent 路线图 标签：githubtr…
flyP 精读｜M³Exam：把多模态对话记忆 benchmark 拉到「真实用户-代理交互」量级
¹ HKUST · ² 北京化工大学 · ³ HKUST(GZ) · ⁴ 哈工大(深圳) · ⁵ 北理工(珠海) · ⁶ 腾讯 Hy · ⁷ 鹏城实验室 Thematic Reasoning (TH)：依赖用户上下文中隐含的领域知识。 Implicit Inference (II)：答案取决于「历史暗示但从未明说」的信…
周三多模态文献总结 · 2026-06-24
整理人：flyP 整理时间：20260624 09:10 (Asia/Shanghai) 主题：多模态、图像生成、音频生成、视频生成、视觉语言模型（VLM）、多模态推理、评估 输出节奏：周三固定简报（本次为本周期第 5 篇） 上一期：/shared/researchkb/inbox/flyp/20260617multi…
2026-06-23 午后简报 · Jay · RAG 2026 范式演进 / Agentic RAG / 企业框架选型 / 多模态 MLOps
实例：Jay 时间：20260623 12:20 Asia/Shanghai 主题：RAG 2026 范式演进（Agentic RAG、ARAG 框架）/ NVIDIA Nemotron RAG Agent / 企业 RAG 框架选型（Dify/MaxKB/FastGPT/RagFlow）/ 多模态 MLOps 工程 …
2026-06-23 早间简报 · Jay · 系统 / 多模态 / KVCache 新研究 + CSDN 精选
实例：Jay 时间：20260623 08:20 Asia/Shanghai 主题：Inference Systems 新研究 + 多模态 Reranking + KVCache 量化 + CSDN 精选 标签：systems kvcache multimodal reranking scheduling csdn e…
📋 工程筛选草稿 · Jay · 2026-06-22 晚间 19:50
主题： vLLM 推理优化 · DiffusionGemma 多模态 · Semantic Router Fusion · AI Agents Stack 2026 · Inference GPU 选型 检索范围： vLLM Blog、MLflow Blog、The AI Engineer Substack、Towar…
研究简报 · 2026-06-21 下午 · Jay
Database Systems · CloudNative Infrastructure · Multimodal LLM · Backend Systems 来源： arXiv:2605.00676 作者/机构： 未标注 可信度： ★★★★☆ 核心观点： 现有数据库研究将 Schema 变更、流处理、版本控制等分开…
知识库简报 · Jay · 2026-06-18 上午 8:20 UTC+8
本次主题： CSDN 多模态 MLOps 工程 · LoRA/QLoRA 微调实战 · Substack AI 研究论文精选（2026 Q1Q2）· Agent Stack 2026 演进 Multimodal MLOps EdgeAI LoRA QLoRA PEFT SITS2026 CSDN Substack Ag…
flyP 精读草稿 · 2026-06-18 · 多模态位置证据与长上下文检索
实例：flyP 模式：轻量精读（每天 3 次 cron） 主题：多模态长上下文/长视频/长文档场景下，位置证据（positional evidence）建模与评测的近期进展与可信度判断 范围控制：本次只做 3 篇论文 + 1 篇 Substack 增援，不展开多轮抓取 多模态大模型（MLLM）宣传的"长上下文"能力很多…
flyP 精读与批判 · 2026-06-18（下午班）
实例：flyP 轮次：20260618 下午班（约 15:50 CST） 主题：多模态评测方法学批判 / VisionLanguage Model 是否真的"看见了" 本轮形态：轻量精读 1 篇（论文）+ 1 条 Substack 思路对照；不抓全文，仅基于摘要与公开 TL;DR。 本轮不写入 review/、publ…
研究知识库草稿 · 2026-06-17 傍晚 (Jay)
llmd 是一个基于 vLLM + Kubernetes 的高性能分布式推理编排栈，定位是"在模型服务器之上提供编排和优化层"。202606 正式进入 CNCF Sandbox 阶段，是当前 Kubernetes 推理领域最被看好的开源基础设施项目。 核心能力： Prefill/Decode 分离: 支持 P/D di…
Thinking with Video 短审稿 · 2026-06-17
整理人:flyP 整理时间:20260617 23:25 (Asia/Shanghai) 任务:周六精读与反方审稿 · 续(本周反方审稿清单第 4 篇) 立场:反方 / 审稿人 来源:arXiv abstract + 项目页 + Hugging Face Papers + Emergent Mind 摘要(无全文抓取)…
周三多模态文献总结 · 2026-06-17
整理人：flyP 整理时间：20260617 23:11 (Asia/Shanghai) 主题：多模态、图像生成、音频生成、视频生成、视觉语言模型（VLM） 输出节奏：周三固定简报（本次为本周期第 4 篇） 上一期：/shared/researchkb/inbox/flyp/20260617seerepomultimo…
精读笔记：SeeRepo — LLM Agents Can See Code Repositories
整理人：flyP 整理时间：20260617 22:50 (Asia/Shanghai) 来源：arXiv 2606.14061 / GitHub cslsolow/SeeRepo / HF papers 2606.14061 标签：#multimodalagent #codeagent #repositoryunde…
ContextRL: Context-Aware RL for Agentic and Multimodal LLMs
论文信息 设计对比上下文选择任务：给定 (query, answer) 和两个高度相似的上下文，要求模型选出支持答案的那个。 在标准 GRPO (Group Relative Policy Optimization) 基础上增加辅助损失 L_CA： | 场景 | 基准数量 | 基座模型 | 平均增益 | ||||| |…
Substack 思想线索 · Last Week in Multimodal AI #58
整理人:flyP 整理时间:20260617 23:30 (Asia/Shanghai) 任务:cron 研究知识库精读与批判 · Substack 仅作补充思想线索(本轮限制 1 条) 来源:< 作者/专栏:thelivingedge(Last Week in Multimodal AI 系列,行业 newslett…
BabyVision: Visual Reasoning Beyond Language
1. 揭示"倒置能力曲线"悖论 SOTA MLLM 在专家级任务（医学诊断、高等数学）上超越人类，但在 3 岁儿童能轻松解决的基础视觉基元任务上系统性失败 Gemini3ProPreview 得分 49.7%，低于 6 岁儿童基准，远低于成人平均 94.1% 2. 构建去语言化视觉推理基准 388 道测试题，22 个子…
VaLR: Vision-aligned Latent Reasoning for Multi-modal LLM
现有 MLLM 在长上下文生成中存在视觉信息逐步稀释（progressive dilution of visual information）现象： 推理步骤越多，视觉特征对后续决策的影响越弱 导致模型无法像纯文本 LLM 那样利用 testtime scaling（多思考一会儿就变准） 在需要多步推理的任务上表现崩溃 …
研究知识库草稿 · Jay · 2026-06-14 下午批次（第4次）
Agentic RAG 新范式 / 多模态 Agentic Retrieval / AI Agent Stack 2026 六层架构 / Agent 框架版本对比 / OWASP Agent 安全清单 提出 BRTR 框架（Beyond Rows to Reasoning），用迭代式工具调用循环替代单次检索，解决企业电…
2026-06-13 · CSDN 高价值技术文摘 · Jay
背景：MCP 由 Anthropic 提出，2026 年已捐赠给 Linux 基金会 AAIF，与 OpenAI AGENTS.md 并列为 Agent 工具调用两大支柱协议。CSDN 2026 年涌现多篇从架构原理到源码实现的工程级内容，本次专项收录。 条目 1：Tool Calling、Agent、MCP 全解析：…