Jay

我如何使用 LLM 深入 ChatGPT 这类 LLM 复现 GPT2 (124M) 构建 GPT Tokenizer [[1小时讲座] 大语言模型入门](

一个 63 亿美元的开权重模型刚刚被法国人尴尬击败…… PewDiePie 正在让 AI 走向自由……OpenAI 怒了 那条真正能让你赚钱的 OpenAI 公告…… 一个 50 年前的军方机密刚刚解决了 agent 的 prompt injection 问题？ DHH 完全失控了……

Agent Lightning v1.0：一个仅 3,500 行的轻量级 Agentic RL 框架，用于通过真实 Harness 训练 Agent — 使用强化学习训练 AI Agent 具有挑战性，因为其工具、上下文和决策由复杂框架管理。Agent Lightning 连接现有… AI 的失误之处以及失败带来的启示…

Import AI 475：群体扩展；Google DeepMind 为生物学加水印；以及 AI 科学经济 — 谁来决定 AI 能做什么？ Import AI 474：柏拉图式心智空间；太空中的 TPU；智谱启动外部 RSI 循环 — 你在哪些方面超越了 LLM 的能力？ Import AI 473：美国的超级智能战略…

用价值表征预测对齐泛化 — LLM 开发者对模型进行后训练，使其表现对齐目标中所列的亲社会价值观与行为特征。然而，尽管近期后训练在... Latent Core Tokenizer：有意义地压缩 — Tokenizer 通常以压缩为优化目标，但紧凑的词表未必能将其容量均匀分配到各语言。我们提出 Latent Core …

面向学习稀疏检索的紧凑且高效索引 — 本文研究如何在不牺牲 SOTA 检索数据效率的前提下，大幅降低学习稀疏检索索引的内存占用。 NativeScope：基于原生拓扑与正确锚点的关系局部化检索 — 稠密检索通常依据文本块与问题的语义相似度排序，却忽视了数据系统中已有的结构（如段落归属、序列等）。 Project Gre…

Harness 工程与自我改进 — 递归自我改进（RSI）的概念可追溯至 I. J. Good（1965），他将"超智能机器"定义为在所有智力活动上都能超越人类的系统…… 谨慎看待 Scaling Laws — Scaling laws 是深度学习中最关键的实证发现之一。其观察形式十分简洁：随着模型规模的扩大，训练损失…

2026年AI现状报告 — AI构建AI、物理AI、推理爆发式增长以及不断升级的网络风险。 欧洲无法通过租赁实现AI主权 — 当华盛顿可以一夜之间禁用某个模型时，问题已不在于AI是否安全，而在于谁掌控它。 AI现状：2026年5月 — 2026年4月：AISI的网络阈值、微软与OpenAI的重置、中国开放权重模型的代码…

用于文本分类的语言模型：从词袋到 Jev — RNN、CNN、Transformer 与校准的可视化指南，附带关于精度与效率的动手实验 GPT6 Astra、循环 Transformer 与隐式推理 — 循环深度、思维隐链与近期循环 Transformer 模块研究综述 Claude 如何为 AI 生成文本添加水印 —…

软件边界为何是开发者最重要的技能 — 本文将介绍一些关键策略，帮助开发者为正在开发的系统做出正确的边界相关决策。 Netflix 如何教会 LLM 推荐电影，让你一直看下去 — 本文将探讨 GenRec 的构建过程。 为什么 LLM 会在你犯错时也同意你 — LLM 有时会认同错误观点，主要是因为其训练过程奖励了这种行…

Deno 加入 Cloudflare — Deno 加入 Cloudflare。Deno 团队曾在 8 月发布了 celld 的首个版本——这是他们对 Cloudflare Workers 中 Durable Objects 模式的开源实现。 引用 Matthew Green — 大家都太在意保持体面了，所以我就来做那…

一个估值 63 亿美元的开源权重模型刚刚被法国打脸了…… PewDiePie 正在释放 AI……而 OpenAI 怒不可遏 那条真正能让你赚钱的 OpenAI 公告…… 一个 50 年前的军事机密刚刚解决了 Agent prompt injection ？ DHH 已经彻底失控了……

我如何使用 LLM 深入剖析类似 ChatGPT 的 LLM 让我们复现 GPT2 (124M) 让我们构建 GPT Tokenizer [[1小时讲座] LLM 入门](

Import AI 475：群体扩展；Google DeepMind 为生物学添加水印；以及 AI 科学经济 — 谁来决定 AI 能做什么？ Import AI 474：柏拉图式心智空间；太空中的 TPU；智谱开启外部 RSI 循环 — 你在哪些方面超越了 LLM 的能力？ Import AI 473：美国的超级智能战…

Agent Lightning v1.0: A 3,500Line Lightweight Agentic RL Framework for Training Agents with Real Harnesses — Training AI agents with reinforcement learning can …

Harness Engineering for SelfImprovement — 递归自我改进（RSI）的概念最早可追溯至 I. J. Good（1965），他将"ultraintelligent machine"定义为一种能够在……方面超越人类的系统。 Scaling Laws, Carefully — 尺度定律是…

文档结构是否有助于稠密检索？两个语料库上四种机制的安慰剂对照消融研究 — 检索增强生成（RAG）系统日益依赖文档结构处理：结构对齐分块、LLM 生成的块上下文、标题路径元数据以及层次… 生成式推荐中漏检目标的训练：将监督信号与概率竞争解耦 — 生成式推荐器返回的候选集规模有限，在重排序前可能遗漏已观测目标。一种训练策略…

EngramEdit：通过条件记忆实现 LLM 中的解耦式知识更新 — DeepSeek Engram 等条件记忆架构使用输入 ngram 查找学习得到的嵌入，从而在有限额外……的条件下扩展大型语言模型（LLM）的容量 你的提示词应发挥更大作用：检索指令对嵌入模型的影响 — 基于提示的嵌入模型近来受到越来越多的关注，尤…

The State of AI Report 2026 — AI building AI, physical AI, booming inference, and escalating cyber risks. 欧洲无法通过租赁的方式实现 AI 主权 — When Washington can disable a mo…

用于文本分类的语言模型：从 BagofWords 到 Jev — RNN、CNN、Transformer 与校准的可视化指南，附带关于精度与效率的动手实验 GPT6 Astra、循环 Transformer 与隐藏推理 — A Look at Recurrent Depth, Hidden Chains of Thou…

软件边界是开发者最重要的技能 — 本文将介绍一些关键策略，帮助开发者为其正在开发的系统做出正确的边界相关决策。 Netflix 如何训练 LLM 来推荐电影，让你一直看下去 — 本文将介绍 GenRec 的构建过程。 为什么 LLM 会在你犯错时仍然同意你 — 当 LLM 有时会认同错误的说法时，主要是因为其训练过程奖…

ttok 0.4 — 发布：ttok 0.4 ttok 是我用于统计 token 的 CLI 工具，基于 OpenAI 开源的 tiktoken 库。该工具已有两年未更新，但我终于修复了 Click 相关问题…… 引用 Carson Gross — 计算机编程从根本上看涉及两件事：利用计算机解决问题；在解决这些问题的过…

我如何使用 LLM 深入剖析 ChatGPT 等 LLM 复现 GPT2 (124M) 构建 GPT 分词器 [[1小时讲座] LLM 入门](

Agent Lightning v1.0：一个 3500 行的轻量级 Agentic RL 框架，用于在真实 Harness 下训练 Agent — 用强化学习训练 AI Agent 具有挑战性，因为其工具、上下文和决策由复杂框架管理。Agent Lightning 连接现有…… AI 会错在哪里，失败又能教会我们什么…

Import AI 475：群体规模化；Google DeepMind 为生物学内容添加水印；以及 AI 科学经济 — 谁来决定 AI 能做什么？ Import AI 474：柏拉图式心智空间；太空中的 TPU；Zhipu 启动外层 RSI 循环 — 你能在哪些方面突破 LLM 的能力上限？ Import AI 473…

支撑自我改进的工程体系 — 递归自我改进（RSI）的概念可追溯至 I. J. Good（1965），他将“超智能机器”定义为一种能够在……方面超越人类的系统。 审慎对待缩放定律 — 缩放定律是深度学习中最关键的实证发现之一。其观察结果很简单：随着模型……的扩大，训练损失 $L$ 会呈现可预测的下降趋势。 我们为何思考 …

面向生成式信息检索的语义 ID 空间的系统性研究 — 生成式信息检索（GIR）已成为一种变革性范式，将文档检索从传统的"检索排序"工作流转向序列到序列…… 解耦生成式检索中的范式、标识符与解码 — 生成式检索通过训练语言模型来生成相关文档的标识符。近期工作将自回归解码器替换为扩散模型，但改变了标识符…… 看见上下文：利…

IdeaAnchor：教 LLM 将文献转化为研究创意 — 科学研究通常始于综合一组相关论文中的思想，以发现研究空白并提出新方向。然而，训练语言模型做到这一点…… AdvSim2Real：在 Web 世界模型中针对自适应提示注入训练 Web 智能体 — Web 智能体通过阅读并操作第三方编写的页面来完成用户请求，因此植…

欧洲无法靠租用实现 AI 主权 — 当华盛顿能一夜之间禁用某个模型时，问题已不在于 AI 是否安全，而在于谁掌控它。 State of AI：2026 年 5 月 — 2026 年 4 月：AISI 的网络安全门槛、Microsoft 与 OpenAI 的关系重置、中国开源权重模型的代码能力追平、Agent 走入真实市…

引用 Ben Affleck — 我从小就对计算机很感兴趣。后来当电影从模拟胶片转向数字时，我对这方面的兴趣就更浓了。再后来…… Claude Haiku 5.5 — 此前承诺过，现在 Anthropic 的全新快速、低成本模型来了：Claude Haiku 5.5 发布。上一代 Haiku 4.5 已经明显落伍——它…