笔记

LLM为什么会说谎？ — 本文将探讨LLM出现幻觉问题的原因，以及让LLM回答更可靠的技术方法。 AI Agent能思考了，现在还能付款。 — 我参加了在Stripe总部举办的MPP活动，与Stripe的Emily Sands、Matt Schulman以及Tempo的Brendan Ryan进行了交流。 EP227：…

NVIDIA Nemotron 笔记 — 全面覆盖最具实用价值的开源 LLM 技术报告系列…… LLM 强化学习：完整指南 — 追溯强化学习从基础原理到前沿 AI 研究的演进…… 中间训练笔记 — 通过中间训练与持续预训练构建更优的专用 LLM…… 智能体世界模型 — 通过让语言智能体建模其所处环境，构建更优的语言智能…

我如何使用 LLM 深入 ChatGPT 这类 LLM 让我们复现 GPT2 (124M) 让我们构建 GPT 分词器 [[1小时讲座] 大语言模型简介](

DHH已经彻底失控了…… Meta再次转向……Connect 2026上你错过的所有内容 WordPress历史上最昂贵的33小时…… 一位前OpenAI研究员刚刚从LLM中删除了语言…… Google是否刚刚点燃了智能爆炸？

Import AI 474：柏拉图式心智空间；太空中的 TPU；Zhipu 启动外部 RSI 循环 — 哪些场景超出了 LLM 的能力范围？ Import AI 473：美国的超级智能战略；小鼠颅内的人脑；以及机器诠释学 — AI 当前撞上的那面墙，是否就在我们身边？ Import AI 472：DeepMind 的作…

微软研究院亚洲—新加坡一周年：推进研究、合作与人才，实现真实世界影响力 — 微软研究院亚洲—新加坡实验室成立一年来，已奠定坚实基础，深化与政府、学术界和产业界的合作，并… 面向真实世界物理 AI 机器人的卸载推理 — 机器人智能化速度加快，但硬件如何跟上？微软研究院最新研究表明，将 AI 推理卸载至机器人外部可提升任务…

与 Epoch AI 的 JS Denain 辩论 RSI、中美差距与锯齿状前沿 — 第 19 期播客 开源模型当前的权力平衡 — 我为国会准备的证词的扩展版本 为什么我仍然不相信真正的 RSI — 一位"AI 温和派"对近期动态与前沿模型演进轨迹的看法 开源 AI 与开源模型阅读清单 — 如何快速了解开源模型及其影响…

构建生成式 AI 应用时的常见陷阱 — 由于使用 foundation model 构建应用仍处于早期，犯错是正常的。本文简要列举了一些最常见的 pitfa… Agent — 许多人认为 intelligent agent 是 AI 的终极目标。Stuart Russell 与 Peter Norvig 的经典著作《A…

Harness 工程与自我改进 — 递归自我改进（RSI）的概念可追溯至 I. J. Good（1965），他将"超智能机器"定义为能在所有方面超越人类…… 谨慎看待 Scaling Laws — Scaling laws 是深度学习中最重要的实证发现之一。其形式简洁：训练损失 $L$ 会随模型规模…… 我们为何思考 …

战略性多样化采样用于自训练 — 许多 LLM 训练和推理方法（包括 RL 和测试时 scaling）依赖于重复采样，但仅当响应存在有意义的差异时才能从中受益。自训练 fa… MexHat：墨西哥西班牙语视频中的仇恨言论检测数据集 — 通过内容监控确保在线安全，使仇恨言论检测成为一项必须应对的关键任务。本质上，该任务需要…

零售商品搜索：Target 的一种实用方法 — 搜索是电商中最重要的功能之一，直接驱动用户参与度和业务增长。一个优秀的商品搜索系统必须同时展示相关且符合用户需求的商品…… 用图拉普拉斯位置嵌入增强序列推荐 — 序列推荐系统通常依赖可学习的位置嵌入来编码用户交互的顺序。在本工作中，我们探讨这种顺序信号是否可以被替代…… …

欧洲无法靠租用实现AI主权 — 当华盛顿可以一夜之间禁用某个模型时，问题已不在于AI是否安全，而在于谁来掌控它。 AI现状：2026年5月 — 2026年4月：AISI的网络安全阈值、Microsoft与OpenAI的重组、中国开源权重的代码能力对等、Agent接入真实市场，以及OpenAI的1220亿美元融资。 公布…

我认为开源 AI 模型将胜出的六个理由 — 在与开发者及 AI 团队的交流中，我惊讶于有如此多团队正在探索将更多推理工作负载迁移到开源模型。此前我已谈到过其中一些…… 并非每个 AI 任务都需要 LLM — LLM 专为生成文本而生,但令人意外的是,大量 AI 自动化根本不需要文本生成,只需要一个小决策:这是垃圾邮件吗…

AI Agent 能思考了。现在它们也能支付了。 — 我参加了在 Stripe HQ 举办的 MPP 活动，与来自 Stripe 的 Emily Sands 和 Matt Schulman，以及来自 Tempo 的 Brendan Ryan 进行了交流。 EP227：使用 Jev 的 9 大场景 — Jev 是 Typ…

Claude Sonnet 5.5 — Anthropic 今天发布的全新 Sonnet 模型 Claude Sonnet 5.5。他们称其"运行速度提升 30% 以上，且多数任务成本最高降低 30%"，定价与 Sonnet 5 相同，但似乎……（原文截断） 引用 @joedaroo — 要说我们对模型在"cyber"…

GPT6 Astra、循环 Transformer 与隐藏推理 — 循环深度、隐藏思维链与近期循环 Transformer 模块研究综述 Claude 如何为 AI 生成文本添加水印 — 48 分钟视频讲解 token 采样、水印检测与去除 Building an AI Text Detector From Scrat…

关于 NVIDIA Nemotron 的笔记 — 广泛覆盖最具实用价值的开源 LLM 技术报告系列…… LLM 强化学习：完全指南 — 从第一性原理出发，追溯强化学习从基础到现代 AI 研究前沿的演进历程…… 关于 Midtraining 的笔记 — 通过 Midtraining 与持续预训练打造更优的专用 LLM………

Meta 再次转向...Connect 2026 上你错过的所有内容 WordPress 历史上最贵的 33 个小时... 一位前 OpenAI 研究员刚刚从 LLM 中删除了语言... Google 刚刚引爆了智能爆炸吗？ Anthropic 研究人员正在离职...而原因我们终于知道了

电话号码谜题 AI 未能解决的最后一道 IMO 题目 AI 未能解决的最后一道 IMO 题目 跳珠谜题 64 块方糖谜题

Import AI 473：美国的超级智能战略；小鼠颅骨中的人类大脑；以及机器释义学 — AI 是否正在撞上那面墙？ Import AI 472：DeepMind 的作弊数学 Agent；民粹主义 AI 政策；以及 Forethought 构想的"守夜人" — 此外，还有一则关于机器释义学的报道 Import AI 4…

卸载推理用于真实世界物理 AI 机器人 — 机器人正变得更智能，但硬件如何跟上这一增长？微软研究院的新研究表明，将 AI 推理移至机器人之外可以提升任务成功率…… 使用 RetroChimera 大规模改进小分子合成预测 — 定制分子正在推动医学、材料和农业的进步，但其生产过程缓慢且成本高昂。一篇新的 Nature 论…

与 Epoch AI 的 JS Denain 辩论 RSI、中美差距与能力锯齿 — 播客 #19 开源模型当前的力量平衡 — 我为国会准备的证词扩展版 为什么我仍然不相信真正的 RSI — 一位"AI 温和派"对近期事件与前沿模型发展轨迹的看法 开源 AI 与开放模型阅读清单 — 如何快速了解开放模型及其影响 一次辞职…

构建生成式 AI 应用时的常见陷阱 — 由于我们仍处于基于 foundation model 构建应用的早期阶段，犯错是正常的。这是一篇简要笔记，列举了一些最常见的陷阱…… Agents — 智能体（Intelligent agents）被许多人视为 AI 的终极目标。Stuart Russell 与 Peter No…

基于 Agent 的网络阴谋论检测 — 社交媒体上的阴谋论话语并非总是通过明确主张或稳定的词汇标记来表达。相同的表层内容可能表达认同、合法评论…… JevOut：自然上下文可翻转决策模型 — Jev 等专用决策模型将非结构化语言映射到有限选项上的概率分布，使其输出能够直接路由请求、选择工具…… SemMSA：潜在语义辅…

从兴趣到语义ID：面向生成式推荐的检索接地信用分配 — 语义ID（SIDs）将每个目录项编码为短token序列，使生成式推荐器能自回归地预测下一项。推理增强变体…… 基于语义ID学习更优的生成式推荐推理 — 生成式推荐将项检索重构为序列生成任务，使统一模型可直接从用户交互历史生成下一项。语义…… LSFSR：基于流式条…

欧洲无法通过租用实现 AI 主权 — 当华盛顿能在一夜之间禁用某个模型时，问题已不在于 AI 是否安全，而在于谁掌控它。 State of AI：2026 年 5 月 — 2026 年 4 月：AISI 的网络阈值、Microsoft 与 OpenAI 的重启、中国开源权重模型的代码能力对等、Agent 接入真实市场，…

Harness Engineering 实现自我改进 — 递归自我改进（recursive selfimprovement, RSI）的概念可追溯至 I. J. Good（1965），他将"超智能机器（ultraintelligent machine）"定义为能够在所有方面超越人类…… 谨慎看待 Scaling Law…

并非每个 AI 任务都需要 LLM — LLM 被设计用于生成文本，但令人惊讶的是，大量 AI 自动化根本不需要文本输出，只需要一个小决策：这是垃圾邮件吗？这个工单应分配给哪个团队？…… 过时的数据过去只是让人头疼 — 想象一个采购 Agent 检查库存后判定库存已低于补货阈值，于是下了一笔补货订单。问题在于，一大批货…

2026 年 LLM 进展（截至目前） — 在圣何塞举办的 WeAreDevelopers World Congress North America 大会上发表闭幕主题演讲，将过去一年的关键趋势按时间线串联起来…… S3 是未来，S3 也是过去 — 对《S3 Is the Future, S3 Is the Past》…

GPT6 Astra、循环 Transformer 与隐式推理 — 探讨循环深度、隐式思维链及循环 Transformer block 的最新研究 Claude 如何为 AI 生成文本添加水印 — 48 分钟视频讲解 token 采样、水印检测与去除 从零构建 AI 文本检测器 — 涵盖数据集构建、模型训练、本地部署与…