解读
1545 篇 · 选题榜 / 深度解读 / 科普 / 综述 / 视频脚本(学术推广产出)
PaLM:用 Pathways 扩展语言建模至 540B
Google 用 Pathways 系统在 6144 块 TPU v4 上训练了一个 540B 密集激活 Transformer(PaLM),在数百项语言基准上以少样本学习的方式刷新 SOTA,并在 BIGbench 上首次让模型平均得分超越人类。 2022 年初,LLM 赛道有两条明显的工程痛点: 1. 规模上限:G…
Visual Instruction Tuning(LLaVA)
Liu 等人首次用 GPT4 生成的语言图像指令微调数据 把一个视觉编码器(CLIP ViTL/14)与一个大语言模型(LLaMA)拼成端到端可训练的视觉对话助手 LLaVA,并在合成多模态指令集上以相对分 85.1% 逼近 GPT4。 2023 年春天多模态 LLM 赛道正卡在一个真问题:视觉语言对齐≠视觉指令跟随。…
Mamba:基于选择性状态空间的线性时间序列建模
Gu & Dao 在 S4 状态空间模型基础上,把 SSM 参数变成 输入依赖的"选择性"函数,并设计了一个不依赖 attention 也不含 MLP 的硬件感知并行算法,从而在语言、音频、基因组三种模态上以更小模型达到 Transformer 同等或更好的精度,并把推理吞吐拉到 约 5× Transformer。 T…
GBC:用梯度化连接打开多 Agent 系统的细粒度归因
GBC(GradientBased Connections)把多 Agent 系统(MAS)当作一个可微的计算图,通过基于梯度的连接权重量化每个 Agent 的输出对下游 Agent 在token 级的影响,从而把"哪个 Agent 的哪一步搞砸了"这种归因问题从黑盒变成可计算——并据此做针对性 prompt 优化,在…
PerceptionRubrics:将多模态评估校准至人类感知
PerceptionRubrics 是一个面向多模态生成的"评分量表式"评测框架,用 1038 张信息密集图像与 1 万余条实例级 rubric,把"语义整体相似度"换成"原子级事实审计",并通过 Gated Scoring 让"漏掉关键视觉事实"直接判失败,从而暴露出当前 SOTA 模型在密集合上"看着都对但连起来就…
Erase-then-Delta Attention:解耦 Delta 规则线性注意力中的擦除地址与写入地址
本文提出 ErasethenDelta Attention (EDA):在 Deltarule 线性注意力的更新规则里,把"在哪里擦除陈旧记忆"与"在哪里写入新内容"解耦——先沿一个学习到的擦除方向做定点擦除,再沿当前写地址做 Deltastyle 修正写入。在 2.5B 稠密模型和 25BA2.8B MoE 模型家族…
LOCOS:用 Logit 贡献度评分定位「非字面意义检索」注意力头
LOCOS(LogitContribution Scoring)提出一种 writeaware 的注意力头检测器:不看 head「读了什么 token」,而是直接把 head 的 OV 电路输出投影到「最终答案 token 的 unembedding 方向」,据此打分;通过 meanablating 得到的 topk …
SPIRE:将幻灯片个性化建模为「逆向规划 + 结构去噪」的 Agentic 框架
SPIRE 把「页级幻灯片个性化 (PSP)」形式化为一个 inverse planning 问题,并提出一种故意破坏再让 agent 去噪的训练策略:在不依赖特定 PowerPoint/Beamer 工具的前提下,让两个 agent 通过强化学习协作去噪结构化破损,从而「绕过对工具内部 API 的依赖」间接学到设计意…
轻量级 IIoT 入侵检测模型在跨域场景下的泛化失效
针对工业物联网(IIoT)训练的轻量级入侵检测模型,在「同域内训同域内测」时表现尚可,但放到结构不同的 IIoT 网络上(不重训)就会严重失效;失效原因并不是模型容量不足,而是它们普遍把粗粒度「端口类别」当成捷径特征,而不同 IIoT 数据集的端口分布差异巨大。 「在边缘设备上做入侵检测」是 IIoT 安全的标准配置。…
Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback:从 HH-RLHF 到"周更"在线对齐
Anthropic 团队用偏好建模 + RLHF 把一个语言模型微调成既"有用"又"无害"的助手,并把整套流程跑成了"周更"的迭代式在线训练范式,识别出 KL 散度与 RL 奖励之间的近似线性关系——这篇论文是 HHRLHF 的方法论奠基,也是 InstructGPT 之后 RLHF 工业化的代表案例。 把一个大语言模…
Large Language Models Are Human-Level Prompt Engineers(APE):把"提示工程"做成"程序合成"
APE(Automatic Prompt Engineer)把"自动提示工程"形式化成程序合成问题——让大模型自己生成一批候选指令,再用目标评分函数挑选最优——在 24 个 NLP 任务上,机器生成的指令在 19 个任务上达到甚至超过人类写作者的提示水平。 "提示工程"从 GPT3 时代起就是依赖人力的手艺活:同一个模…
Atlas:Few-shot Learning with Retrieval Augmented Language Models
Atlas 是 Meta AI(原 Facebook AI)推出的检索增强型预训练语言模型,用精心设计的 retriever + encoder + decoder 三件套,把"知识密集型任务"做到仅靠 64 条标注样本即可在 Natural Questions 上超过 540B 参数的纯参数化模型——以 50× 更少…
推广选题榜 · 2026-08-10
基于近 30 天(2607·2608 批次)论文卡片,从「概念突破 × 话题热度 × 新近度」综合评估,Top 8 如下: ① Metis: Memory Foundation Model arxiv: 2607.26760 将 Agent 记忆从外部模块重新定义为模型原生能力——这是记忆研究方向的范式转换。传统记忆依…
当 AI 给你的 CT 影像「切器官」时,它用的是「卷积」还是「注意力」?—— 一篇被引 5400+ 次的论文改变了答案
你有没有做过 CT 体检? 影像科医生对着几百张 0.5mm 切片的 CT 影像,一寸一寸勾出肿瘤 / 器官的边界 —— 一份报告要花 2040 分钟。 如果 AI 能自动勾出 8 个腹部器官的轮廓、再让医生微调,医生每天能多看 30% 的病例。 arXiv 2105.05537(Semantic Scholar 被引…
当 AI 学会「写作文」之后,老师到底怎么打分?—— 一篇被引 9000+ 次的论文给出了答案
你有没有想过这个问题: ChatGPT 写了一段摘要、DeepL 翻了一篇论文、文心一言画了段文案 —— 怎么判断它写得好不好? 更尴尬的是 —— 传统打分方法(BLEU、ROUGE)会给完全同义但换了同义词的译文打极低分。 一句 "I love you" 翻成 "I adore you",BLEU 可能直接判 0。 …
当多机器人系统遇上 Agentic AI:迈向具身集体智能
本文提出具身集体智能(Embodied Collective Intelligence, ECI)这一多机器人新范式,主张机器人团队不再只共享地图、任务与数据集,而是共享"具身 agent 闭环产生的状态"——世界上下文、任务进度、技能经验——并以 CoPerception / CoAction / CoEvoluti…
RedVox:语音模型跨语言的安全性与公平性差距
RedVox 是首个基于真实人声构建的多语言(英、法、意、西、德五语)语音 / 音频模型安全性与公平性基准,作者对 8 个 SOTA 模型做评测后发现:即便在非对抗条件下,漏洞依然存在;非英语明显更严重;语音输入比文本输入更放大风险——并系统记录了用真人参与者采集语音数据所特有的隐私与社会技术挑战。 语音模型(spee…
针对 LLM Agent 提示注入的"带外防御"自适应评估
本文把工具型 LLM Agent 的「带外防御」(outofband defenses,例如 CaMeL、FIDES、Progent、RTBAS、FORGE)用经典信息安全三件套(Biba 完整性 / 引用监控 / 最小权限)重新组织,并警告「静态基准 → 自适应攻击」这条已知陷阱:作者独立复现并扩展了 Progent…
MIRROR:面向智能体 RAG 的新颖性约束记忆引导 MCTS 红队对抗
本文提出 MIRROR——一个跨攻击面的红队框架,把"记忆引导的蒙特卡洛树搜索(MCTS)"与"显式新颖性约束下的检索条件生成"组合起来,专门攻击多模态 Agentic RAG 系统。它附带发布 ARTSafeBench(41,815 条 inpackage 记录 + 跨 4 个攻击面共 41,991+ 条记录)。在四…
PhysRAG:通过检索增强生成提升视频生成中的物理感知
PhysRAG 通过检索增强生成(RAG)将物理知识注入视频 diffusion 模型,在 PhyGenBench 和 VBench 上同时刷新视觉质量与物理规则合规性,被 ECCV 2026 接收。 视频生成模型(如 Sora、Gen3)的一个核心缺陷是忽视物理规律:物体违反重力飘浮、碰撞不合逻辑、光照不符合物理模型…
线性模型在时间序列预测中能做到多好?——SearchCast 与"预处理 > 容量"的复辟
本文用 Ridge 回归作为"白板",在 8 个标准时序基准上系统搜索了回看长度、局部归一化、正则化、数据增强四个预处理维度,得出三条反直觉结论——最优回看长度是序列相关的、最佳归一化窗口是上下文尾部的一个分数、最优的跨序列共享程度因数据集而异——并据此把线性模型推到 6/8 基准上超过 Transformer / M…
MemStrata:用时序账本消灭 RAG 的"过时事实错误"
MemStrata 把"事实随时间被新版本取代"这一结构性失效从 RAG 系统中拆出来:用一组基于 (subject, relation, object) 三元组的确定性 supersession 规则维护一个双时态账本,在被要求回答时不再返回已被取代的旧值——6 个基准上静态知识与 RAG 持平,演化知识准确率从 0…
LCAi:融合大数据与检索增强生成辅助解释的生命周期评估
LCAi 提出一个视角条件化 RAG 框架(perspectiveconditioned RAG),把生命周期评估(LCA, Life Cycle Assessment)的"结果解释"环节从"人写一句话"变成"四视角证据检索 + 中性合成",目标是让 AI 生成的解读有出处、有结构、有边界,从而支撑真正面向落地实施的战…
Learning to Fold: LeHome Challenge 2026 获奖方案(线上第一、线下第二)
一个融合 AWR + RECAP 的 RL 增强型 VLA 系统,让双机械臂自主学会叠衣服,在 ICRA 2026 的 LeHome Challenge 中从 62 支队伍里脱颖而出,仿真轮第一名、实机轮第二名。 LeHome Challenge 2026 是 ICRA 2026 旗下的机器人竞赛,聚焦可变形物体(衣物…
AgentDebugX:面向 LLM Agent 的失败可观测性、根因定位与修复开源工具链
AgentDebugX 把 LLM Agent 调试组织成「检测(Detect)→ 归因(Attribute)→ 修复(Recover)→ 重跑(Rerun)」闭环,核心模块 DeepDebug 用全局轨迹理解 + 结构化指引 + 交叉盘问做多轮根因诊断;在 Who&When 基准上对开源 backbone 取得最严格…
RF-Agent:把 LLM 带进射频集成电路设计的「教科书蒸馏 + 多智能体」实战框架
射频集成电路(RFIC)设计领域缺乏公开的大规模领域数据与标准化基准,阻碍了 LLM 在该方向的落地。RFAgent 给出了一套「教科书蒸馏 → 多智能体生成 → 评测」的端到端方案:用 QTSA(QuestionThinkingSolutionAnswer)四阶段多智能体 pipeline 把 7 本权威 RF 教材…
AILQA:把 RAG 与多模型嵌入/生成组合做成印度法律问答的可评测体系
AILQA(Artificial Intelligence for Indian Legal Question Answering) 把「印度法律」这一高度专业化、文本庞杂且多语言的领域,作为 LLMRAG 系统的严肃试验场:用一整套 embedding 模型与生成式 LLM 的组合搭建 RAG 流水线,在词汇/语义度…
主题综述 · engineering(2026-08-09 · v2 重写版)
重写说明:v1 版定位偏移——本应作为"对 20260809 engineering 主题的独立深度综述",实际却是 84 团队内某实例 inference e1prep 棒 + 87 团队内某实例 criticalread 稿件 + 团队内 4 实例协作 + 私域 inbox 路径 1 处 + 私域活文档路径 3 处…
HACO:对冲式 Agent Computing——面向长流程 LLM 系统的运行时可靠性调度
HACO(Hedged Agent Computing)把「roletoinstance 绑定」当成一个带可靠性约束的候选选择问题——每次 role 请求到来时,它先按乐观排序挑出最优候选,再用保守的可靠性累加规则挑出 hedge 集,直至集合的成功概率满足目标阈值才下发执行;执行完的所有 candidate trac…
主题综述 · database(2026-08-09)
把 2026 年 8 月这一周的 database 主线画在同一张图上,它不是一张分类树,而是三条相互正交但彼此合流的演化轴。第一条轴是部署形态:从 HNSW 经典(arXiv:1603.09320,paper_cards 590,S2 被引 2531 / OpenAlex 188 / 影响力被引 379,2016)代…