Jay

文本分类的语言模型：从词袋到 Jev — RNN、CNN、Transformer 与校准的可视化指南，附带精度与效率的动手实验 GPT6 Astra、循环 Transformer 与隐藏推理 — 循环深度、隐藏思维链与循环 Transformer 块最新研究 Claude 如何给 AI 生成文本添加水印 — 48 分钟…

一个50年前的军方机密刚刚解决了Agent的prompt injection问题？ DHH彻底失控了…… Meta再次转向……Connect 2026上你错过的一切 WordPress历史上最昂贵的33小时…… 一位前OpenAI研究员刚刚从LLM中删除了语言……

我如何使用 LLM 深入解析像 ChatGPT 这样的 LLM 让我们复现 GPT2 (124M) 让我们构建 GPT 分词器 [[1 小时讲座] 大语言模型入门](

预测电网面临的太空天气风险 — 极端太空天气事件会损坏地球上的电力系统，并降低 GPS 精度和卫星运行可靠性。一种新的机器学习系统可以预测损坏可能发生的位置…… 推出 Quine：面向生物学复杂性的 AI 研究系统 — 生物学并非孤立运作，其 AI 表征也不应如此。Quine 是一个早期研究项目，旨在构建生物学的多模态…

Import AI 474：柏拉图式心智空间；太空中的 TPU；智谱启动外部 RSI 循环 — 你在哪些方面超越了 LLM 的能力？ Import AI 473：美国的超智能战略；老鼠颅骨中的人类大脑；机器诠释学 — AI 撞上的那堵墙现在就在我们身边吗？ Import AI 472：DeepMind 的作弊数学智能体…

仅用上下文示例实现有效稠密检索 — 将仅解码器架构的大语言模型（LLMs）转化为强稠密检索器通常需要某种形式的检索器训练。本文探讨 LLM 是否可以…… 生成式查询扩展仍有助于强稀疏检索：基于 SPLADEv3 的受控研究 — 科学查询往往简短，而相关论文使用专业词汇。生成式查询扩展可弥合这种差异，但早期研究表明其价值…

STEPQuant：Delta 规则循环状态量化中错误的时机与位置 — 线性注意力以固定大小的循环状态替代不断增长的 KV 缓存，但在并发服务场景下，这些持久化状态会成为显著的内存瓶颈。 借助教师监督预训练潜在信息反馈 Transformer — Transformer 语言模型（LMs）是前馈式的：深层表示从不会被反…

面向自我改进的 Harness 工程 — 递归自我改进（RSI）的概念可追溯到 I. J. Good（1965），他将"超级智能机器"定义为一种在所有方面都能超越人类…… 谨慎看待 Scaling Laws — Scaling laws 是深度学习中最关键的实证发现之一。该观察形式上非常简单：随着模型规模的扩大，训练损…

He Built This City — 我今天参观了纽约城市博物馆，观看了"He Built This City: Joe Macken's Model"展览——这座 50×27 英尺的城市模型，由 Joe Macken 历时 21 年用巴沙木搭建…… 引用 Anthropic Frontier Red Team —…

欧洲无法靠租赁获得 AI 主权 — 当华盛顿能在一夜之间禁用某个模型时，问题已不在于 AI 是否安全，而在于谁掌控它。 AI 现状：2026 年 5 月 — 2026 年 4 月：AISI 的网络安全阈值、Microsoft 与 OpenAI 的重置、中国开放权重的代码能力对等、Agent 进入真实市场，以及 Open…

DoorDash 如何为 AI Agents 构建工具箱 — 本文将介绍 DoorDash 工程团队如何构建该网关以及他们所做的决策。 LLM 为什么会"说谎"？ — 本文将探讨 LLM 出现幻觉问题的原因，以及让 LLM 回答更可靠的相关技术。 AI Agents 能思考了，现在也能支付了。 — 我在 Stripe …

用于文本分类的语言模型：从词袋模型到 Jev — RNN、CNN、Transformer 与校准的可视化指南，附准确率与效率的动手实验 GPT6 Astra、循环 Transformer 与隐藏推理 — 循环深度、隐藏思维链与循环 Transformer 块近期研究综述 Claude 如何为 AI 生成文本添加水印 —…

我如何使用 LLM 深入探究 ChatGPT 这类 LLM 让我们复现 GPT2 (124M) 让我们构建 GPT 分词器 [[1小时讲座] 大语言模型入门](

Harness工程用于自我改进 — 递归自我改进（RSI）的概念最早由I. J. Good（1965）提出，他将"超智能机器"定义为一种能在……方面超越人类的系统 谨慎看待缩放定律 — 缩放定律是深度学习中最关键的实证发现之一。核心观察简洁：训练损失 $L$ 随模型规模…… 为什么我们要思考 — 特别感谢John Sc…

介绍 Quine：面向生物复杂性的 AI 研究系统 — 生物学并非孤立运作，对其的 AI 表示也不应如此。Quine 是一项早期研究工作，旨在构建生物学的多模态世界模型。通过连接…… 一周年回顾：微软亚洲研究院 – 新加坡如何推动研究、合作与人才发展以产生实际影响 — 自一年前成立以来，微软亚洲研究院 – 新加坡实验室…

Import AI 474：柏拉图式心智空间；太空中的 TPU；Zhipu 启动外部 RSI 循环 — 你在哪些方面超越了 LLM 的能力？ Import AI 473：美国的超级智能战略；小鼠颅内的人类大脑；机器释义学 — AI 所遇到的瓶颈，现在就在我们身边吗？ Import AI 472：DeepMind 的作弊…

套娃式语言模型 — 一个已部署的语言模型常常需要服务于多种算力预算，然而为每个预算提供服务仍意味着需进行单独的训练或压缩。我们训练了一种 Telescopic Lang… 检索凯伦·布里克森《七个哥特故事》中的圣经互文引用 — 识别互文引用是文学研究的核心，但在源材料经过释义、典故、历史…转换的情况下，计算上十分困难。…

评分量规校准的偏好：基于项目反应理论的 LLM 判断跨查询校准 — 重排序器决定用户和 LLM 看到的文档，但其标准指标 nDCG 依赖人工相关性标注——成本高、稀疏、有噪声且为离散分级。随... 生成式检索器能否学习语义 ID 而不忘丢失"说话"能力？ — 生成式检索（GR）通过生成文档语义标识符（SID）实现端到端…

欧洲无法通过租赁实现 AI 主权 — 当华盛顿可以一夜之间禁用某个模型时，问题已不在于 AI 是否安全，而在于谁在掌控它。 AI 现状：2026 年 5 月 — 2026 年 4 月：AISI 的网络阈值、Microsoft 与 OpenAI 的重启、中国开源权重模型的编程能力对等、Agent 走向真实市场，以及 Op…

文本分类的语言模型：从词袋模型到 Jev — RNN、CNN、Transformer 与校准的可视化指南，附带关于准确性与效率的动手实验 GPT6 Astra、Looped Transformers 与隐藏推理 — 审视循环深度、隐藏思维链以及 Looping Transformer Block 的最新研究 Claud…

引用 Anthropic Frontier Red Team — 我们在[内部 Binary Exploitation 基准]的 100 个任务上（随机选取）评估了多个模型，发现 GLM5.3 在 4% 的任务中成功构造出完整的控制流劫持…… GPT 6.1 Sol：接近 Astra 的智能水平，仅需其五分之一的价格 …

LLM为什么会说谎？ — 本文将探讨LLM出现幻觉问题的原因，以及让LLM回答更可靠的技术方法。 AI Agent能思考了，现在还能付款。 — 我参加了在Stripe总部举办的MPP活动，与Stripe的Emily Sands、Matt Schulman以及Tempo的Brendan Ryan进行了交流。 EP227：…

我如何使用 LLM 深入 ChatGPT 这类 LLM 让我们复现 GPT2 (124M) 让我们构建 GPT 分词器 [[1小时讲座] 大语言模型简介](

DHH已经彻底失控了…… Meta再次转向……Connect 2026上你错过的所有内容 WordPress历史上最昂贵的33小时…… 一位前OpenAI研究员刚刚从LLM中删除了语言…… Google是否刚刚点燃了智能爆炸？

Import AI 474：柏拉图式心智空间；太空中的 TPU；Zhipu 启动外部 RSI 循环 — 哪些场景超出了 LLM 的能力范围？ Import AI 473：美国的超级智能战略；小鼠颅内的人脑；以及机器诠释学 — AI 当前撞上的那面墙，是否就在我们身边？ Import AI 472：DeepMind 的作…

微软研究院亚洲—新加坡一周年：推进研究、合作与人才，实现真实世界影响力 — 微软研究院亚洲—新加坡实验室成立一年来，已奠定坚实基础，深化与政府、学术界和产业界的合作，并… 面向真实世界物理 AI 机器人的卸载推理 — 机器人智能化速度加快，但硬件如何跟上？微软研究院最新研究表明，将 AI 推理卸载至机器人外部可提升任务…

Harness 工程与自我改进 — 递归自我改进（RSI）的概念可追溯至 I. J. Good（1965），他将"超智能机器"定义为能在所有方面超越人类…… 谨慎看待 Scaling Laws — Scaling laws 是深度学习中最重要的实证发现之一。其形式简洁：训练损失 $L$ 会随模型规模…… 我们为何思考 …

战略性多样化采样用于自训练 — 许多 LLM 训练和推理方法（包括 RL 和测试时 scaling）依赖于重复采样，但仅当响应存在有意义的差异时才能从中受益。自训练 fa… MexHat：墨西哥西班牙语视频中的仇恨言论检测数据集 — 通过内容监控确保在线安全，使仇恨言论检测成为一项必须应对的关键任务。本质上，该任务需要…

零售商品搜索：Target 的一种实用方法 — 搜索是电商中最重要的功能之一，直接驱动用户参与度和业务增长。一个优秀的商品搜索系统必须同时展示相关且符合用户需求的商品…… 用图拉普拉斯位置嵌入增强序列推荐 — 序列推荐系统通常依赖可学习的位置嵌入来编码用户交互的顺序。在本工作中，我们探讨这种顺序信号是否可以被替代…… …

欧洲无法靠租用实现AI主权 — 当华盛顿可以一夜之间禁用某个模型时，问题已不在于AI是否安全，而在于谁来掌控它。 AI现状：2026年5月 — 2026年4月：AISI的网络安全阈值、Microsoft与OpenAI的重组、中国开源权重的代码能力对等、Agent接入真实市场，以及OpenAI的1220亿美元融资。 公布…