笔记

Opus 5.5：我们离自动化 AI 研究还有多远？ AI 研究者在呼吁"放缓"AI 之前看到了什么 GPT 6 Astra：强到连 OpenAI 都开始担忧 [Sam Altman："2026 年实现 AGI"，恰逢模型开始自我[错误]训练]( AI 有点失控了

我打造了一个全自动 mansplainer 传统圣诞直播 传统节日直播 TiDAR: Think in Diffusion, Talk in Autoregression（论文分析） Titans: Learning to Memorize at Test Time（论文分析）

电话号码谜题 AI 未能解决的最后一道 IMO 题目 AI 未能解决的最后一道 IMO 题目 跳钉谜题 64 块方糖谜题

预测电网面临的太空天气风险 — 极端太空天气事件会损坏地球上的电力系统，并降低 GPS 精度和卫星运行可靠性。一种新的机器学习系统可以预测损坏可能发生的位置…… 推出 Quine：面向生物学复杂性的 AI 研究系统 — 生物学并非孤立运作，其 AI 表征也不应如此。Quine 是一个早期研究项目，旨在构建生物学的多模态…

Import AI 474：柏拉图式心智空间；太空中的 TPU；智谱启动外部 RSI 循环 — 你在哪些方面超越了 LLM 的能力？ Import AI 473：美国的超智能战略；老鼠颅骨中的人类大脑；机器诠释学 — AI 撞上的那堵墙现在就在我们身边吗？ Import AI 472：DeepMind 的作弊数学智能体…

与 Epoch AI 的 JS Denain 辩论 RSI、美中差距与能力锯齿问题 — 播客 #19 开源模型当前的权力格局 — 我为国会准备的证词的扩展版本 为什么我仍未相信真正的 RSI — 一位"AI 温和派"对近期事件与前沿模型发展轨迹的观点 开源 AI 与开放模型阅读清单 — 如何快速入门开源模型及其影响 一…

构建生成式 AI 应用时的常见陷阱 — 由于我们仍处于使用 foundation model 构建应用的早期阶段，犯错是正常的。本文是一份简短笔记，列举了一些最常见陷阱的示例…… Agent — 智能 Agent 被许多人视为 AI 的终极目标。Stuart Russell 与 Peter Norvig 的经典著作《A…

仅用上下文示例实现有效稠密检索 — 将仅解码器架构的大语言模型（LLMs）转化为强稠密检索器通常需要某种形式的检索器训练。本文探讨 LLM 是否可以…… 生成式查询扩展仍有助于强稀疏检索：基于 SPLADEv3 的受控研究 — 科学查询往往简短，而相关论文使用专业词汇。生成式查询扩展可弥合这种差异，但早期研究表明其价值…

STEPQuant：Delta 规则循环状态量化中错误的时机与位置 — 线性注意力以固定大小的循环状态替代不断增长的 KV 缓存，但在并发服务场景下，这些持久化状态会成为显著的内存瓶颈。 借助教师监督预训练潜在信息反馈 Transformer — Transformer 语言模型（LMs）是前馈式的：深层表示从不会被反…

面向自我改进的 Harness 工程 — 递归自我改进（RSI）的概念可追溯到 I. J. Good（1965），他将"超级智能机器"定义为一种在所有方面都能超越人类…… 谨慎看待 Scaling Laws — Scaling laws 是深度学习中最关键的实证发现之一。该观察形式上非常简单：随着模型规模的扩大，训练损…

AI 数据问题已向下游迁移 — 去年我曾撰文指出，机器人领域存在一个数据问题，而 LLM 幸运地避开了它。文本、图像和代码在人们决定训练 mo（模型）之前已经积累了几十年…… AI 的数据供给方式发生了变化 — 订阅 • 往期内容。AI 数据问题已向下游迁移。去年我曾撰文指出，机器人领域存在一个数据问题，而 LLM 幸…

He Built This City — 我今天参观了纽约城市博物馆，观看了"He Built This City: Joe Macken's Model"展览——这座 50×27 英尺的城市模型，由 Joe Macken 历时 21 年用巴沙木搭建…… 引用 Anthropic Frontier Red Team —…

欧洲无法靠租赁获得 AI 主权 — 当华盛顿能在一夜之间禁用某个模型时，问题已不在于 AI 是否安全，而在于谁掌控它。 AI 现状：2026 年 5 月 — 2026 年 4 月：AISI 的网络安全阈值、Microsoft 与 OpenAI 的重置、中国开放权重的代码能力对等、Agent 进入真实市场，以及 Open…

DoorDash 如何为 AI Agents 构建工具箱 — 本文将介绍 DoorDash 工程团队如何构建该网关以及他们所做的决策。 LLM 为什么会"说谎"？ — 本文将探讨 LLM 出现幻觉问题的原因，以及让 LLM 回答更可靠的相关技术。 AI Agents 能思考了，现在也能支付了。 — 我在 Stripe …

用于文本分类的语言模型：从词袋模型到 Jev — RNN、CNN、Transformer 与校准的可视化指南，附准确率与效率的动手实验 GPT6 Astra、循环 Transformer 与隐藏推理 — 循环深度、隐藏思维链与循环 Transformer 块近期研究综述 Claude 如何为 AI 生成文本添加水印 —…

关于 NVIDIA Nemotron 的笔记 — 对最实用的系列开源 LLM 技术报告的广泛覆盖…… 大语言模型强化学习：完整指南 — 追溯强化学习从第一性原理到现代 AI 研究前沿的演进…… 关于中期训练（Midtraining）的笔记 — 通过中期训练与持续预训练打造更优秀的专用 LLM…… 智能体世界模型 — 通…

Opus 5.5：我们距离自动化 AI 研究还有多远？ AI 研究人员看到了什么，才呼吁"放缓"AI GPT 6 Astra，表现如此惊艳，连 OpenAI 都感到担忧 [Sam Altman 称"2026 年实现 AGI"，正当模型开始自我[错误]训练]( AI 正在变得有些失控

Claude Opus 5.5 AI：一次惊人的飞跃 Jev 确实很疯狂，但这里有个坑 DeepSeek 疯狂的新架构 Claude 现在会在文本中留下隐形指纹 我从未想过会看到这一幕发生

我如何使用 LLM 深入探究 ChatGPT 这类 LLM 让我们复现 GPT2 (124M) 让我们构建 GPT 分词器 [[1小时讲座] 大语言模型入门](

Harness工程用于自我改进 — 递归自我改进（RSI）的概念最早由I. J. Good（1965）提出，他将"超智能机器"定义为一种能在……方面超越人类的系统 谨慎看待缩放定律 — 缩放定律是深度学习中最关键的实证发现之一。核心观察简洁：训练损失 $L$ 随模型规模…… 为什么我们要思考 — 特别感谢John Sc…

介绍 Quine：面向生物复杂性的 AI 研究系统 — 生物学并非孤立运作，对其的 AI 表示也不应如此。Quine 是一项早期研究工作，旨在构建生物学的多模态世界模型。通过连接…… 一周年回顾：微软亚洲研究院 – 新加坡如何推动研究、合作与人才发展以产生实际影响 — 自一年前成立以来，微软亚洲研究院 – 新加坡实验室…

Import AI 474：柏拉图式心智空间；太空中的 TPU；Zhipu 启动外部 RSI 循环 — 你在哪些方面超越了 LLM 的能力？ Import AI 473：美国的超级智能战略；小鼠颅内的人类大脑；机器释义学 — AI 所遇到的瓶颈，现在就在我们身边吗？ Import AI 472：DeepMind 的作弊…

与 Epoch AI 的 JS Denain 辩论 RSI、中美差距与锯齿前沿 — 播客 #19 开源模型当前的势力均衡 — 我为国会准备的证词的扩展版本。 为什么我仍未相信真正的 RSI — 一位"AI 温和派"对近期事件与前沿模型发展轨迹的看法。 开源 AI 与开源模型阅读清单 — 如何快速了解开源模型及其影响。 …

构建生成式 AI 应用时的常见陷阱 — 由于我们仍处于使用基础模型构建应用的早期阶段，犯错是正常的。本文简要列举了一些最常见的陷阱示例…… Agent — 智能 Agent 被许多人视为 AI 的终极目标。Stuart Russell 和 Peter Norvig 的经典著作《Artificial Intelligen…

套娃式语言模型 — 一个已部署的语言模型常常需要服务于多种算力预算，然而为每个预算提供服务仍意味着需进行单独的训练或压缩。我们训练了一种 Telescopic Lang… 检索凯伦·布里克森《七个哥特故事》中的圣经互文引用 — 识别互文引用是文学研究的核心，但在源材料经过释义、典故、历史…转换的情况下，计算上十分困难。…

评分量规校准的偏好：基于项目反应理论的 LLM 判断跨查询校准 — 重排序器决定用户和 LLM 看到的文档，但其标准指标 nDCG 依赖人工相关性标注——成本高、稀疏、有噪声且为离散分级。随... 生成式检索器能否学习语义 ID 而不忘丢失"说话"能力？ — 生成式检索（GR）通过生成文档语义标识符（SID）实现端到端…

AI 获取数据的方式发生了变化 — AI 数据问题已转向下游。去年我曾写到，机器人技术存在数据问题，而语言模型幸运地避开了它。文本、图像和…… 我认为开源 AI 模型将胜出的六个理由 — 在与开发者和 AI 团队的交流中，我惊讶于许多团队正在探索将更多推理工作负载迁移到开源模型。我已谈到其中部分…… 并非每个 AI 任…

欧洲无法通过租赁实现 AI 主权 — 当华盛顿可以一夜之间禁用某个模型时，问题已不在于 AI 是否安全，而在于谁在掌控它。 AI 现状：2026 年 5 月 — 2026 年 4 月：AISI 的网络阈值、Microsoft 与 OpenAI 的重启、中国开源权重模型的编程能力对等、Agent 走向真实市场，以及 Op…

文本分类的语言模型：从词袋模型到 Jev — RNN、CNN、Transformer 与校准的可视化指南，附带关于准确性与效率的动手实验 GPT6 Astra、Looped Transformers 与隐藏推理 — 审视循环深度、隐藏思维链以及 Looping Transformer Block 的最新研究 Claud…

引用 Anthropic Frontier Red Team — 我们在[内部 Binary Exploitation 基准]的 100 个任务上（随机选取）评估了多个模型，发现 GLM5.3 在 4% 的任务中成功构造出完整的控制流劫持…… GPT 6.1 Sol：接近 Astra 的智能水平，仅需其五分之一的价格 …