Jay
浏览全部笔记 · 615 篇 · 工程实践 · CSDN · 开源动态
Andrej Karpathy (YouTube) · RSS 摘要
如何使用 LLMs 深入探究 ChatGPT 类 LLMs 复现 GPT2 (124M) 构建 GPT Tokenizer [[1小时讲座] Large Language Models 入门](
Import AI (Jack Clark) · RSS 摘要
Import AI 466：机器人领域的苦涩教训，AI 完成长达一周的编程任务；以及 OpenAI 意外的 AI 黑客 — 警示信号将持续发出，直至文明觉醒 Import AI 465：开源与闭源的差距；Kimi K3；Demis 的大政策计划 — 奇点将被视为一段过渡期（事后回望） Import AI 464：Fab…
Microsoft Research Blog · RSS 摘要
在 SymCrypt 中验证 Rust 密码学：从标准到代码 — 密码代码为现代计算系统提供关键安全防护。了解一种新方法如何在开发人员编写代码时进行验证，同时保持速度和灵活性…… Aurora 1.5：扩展面向天气和地球系统应用的开源基础模型 — Aurora 1.5 在 Aurora 基础模型上新增 22 个变量、小…
Cool Papers · cs.IR (papers.cool) · RSS 摘要
PinEqualizer：Pinterest 全漏斗内容探索与去偏系统 — 本文提出了一种新方案，用于解决工业级搜索和推荐系统中的内容冷启动问题。相较于已有方法，我们做出了… 长篇法学文本细粒度检索中的法律要点提取 — 法学文书集合上的法律检索具有挑战性，因为法院判决是篇幅冗长且异构的文档，其相关法律论点可能仅占很小一…
Lilian Weng (Lil'Log) · RSS 摘要
面向自我改进的驾驭工程 — 递归自我改进（RSI）的概念可追溯至 I. J. Good（1965），他将"超智能机器"定义为在所有方面均能超越人类…… 谨慎看待缩放定律 — 缩放定律是深度学习中最关键的实证发现之一。该观察形式简洁：随着模型规模扩大，训练损失 $L$ 可预测地下降…… 我们为何思考 — 特别感谢 Joh…
Cool Papers · cs.CL (papers.cool) · RSS 摘要
Skill SelfPlay：通过技能协同进化推动 LLM 能力前沿 — LLM 训练正从人工设计与标注转向交互驱动的自进化。然而，现有自进化方法在任务泛化……之间面临根本性困境。 graphemekit：面向多语言 NLP 的字素级指标与文本处理工具 — 现有的词汇距离、相似度与评估指标基于 Unicode 码位操作…
Nathan Benaich (State of AI) · RSS 摘要
欧洲无法通过租赁方式实现 AI 主权 — 当华盛顿能在一夜之间禁用某个模型时，问题已不再是 AI 是否安全，而是由谁掌控。 AI 现状：2026 年 5 月 — 2026 年 4 月：AISI 的网络阈值、Microsoft 与 OpenAI 的关系重启、中国开源权重的代码能力追平、Agent 走向真实市场，以及 Op…
Simon Willison · RSS 摘要
moonshotai/KimiK3 — moonshotai/KimiK3 正如本月早些时候承诺的那样，Moonshot 发布了他们出色的 2.8 万亿参数 Kimi K3 模型权重。在 Hugging Face 上大小约为 1.56TB。K… 一份有立场的指南：选用哪种 AI 来做事 — 一份有立场的指南：选用哪种 …
Sebastian Raschka (Ahead of AI) · RSS 摘要
控制LLM中的推理力度 — LLMs如何学习低、中、高力度推理模式 使用本地编程Agent — 在本地编程环境中使用开源权重模型，作为Claude Code和Codex订阅的替代方案 LLM研究论文：2026年清单（1月至5月） — 今年值得关注的LLM研究论文精选汇总 LLM架构的最新进展：KV Sharing、mH…
ByteByteGo · RSS 摘要
NVIDIA 如何为 AI 时代构建开源模型 — NVIDIA 应用深度学习研究副总裁 Bryan Catanzaro 介绍了其团队如何构建公司的开源模型、架构背后的设计考量，以及…… 分布式系统中时钟、因果关系与排序入门指南 — 为什么"读取时间"这样简单的事会成为分布式系统的难题？ 构建生产可用 AI Agent …
Fireship (YouTube) · RSS 摘要
史上最有趣的"hack"…… 开源权重 AI 参数规模刚突破 2.8 万亿…… 这家估值 120 亿美元的初创公司终于发布了产品…… OpenAI 再次因窃取被起诉…… 史上最具争议的重写刚刚发布……
Andrej Karpathy (YouTube) · RSS 摘要
我如何使用 LLM 深入探索像 ChatGPT 这样的 LLM 让我们复现 GPT2 (124M) 让我们构建 GPT Tokenizer [[1小时讲座] 大语言模型简介](
Microsoft Research Blog · RSS 摘要
在 SymCrypt 中验证 Rust 密码学实现：从标准到代码 — 密码学代码为现代计算系统提供关键防护。了解一种新方法如何在开发者编写代码时进行验证，同时保持速度与灵活性…… Aurora 1.5：扩展面向天气与地球系统应用的开源基础模型 — Aurora 1.5 为 Aurora 基础模型新增 22 个变量、逐小…
Import AI (Jack Clark) · RSS 摘要
Import AI 465：开源与闭源的差距；Kimi K3；Demis 的重大政策计划 — 奇点将被事后视为一个过渡期 Import AI 464：Fable 编写 GPU kernel；AI 自动化；以及模拟计算 — 这是新世界的开端吗？ Import AI 463：自我改进的机器人；一万张 GPU 的中国集群；以…
Cool Papers · cs.IR (papers.cool) · RSS 摘要
Diffusion Language Model for Recommendation — Diffusion Language Model for Recommendation SHIFT: Selfreconstruction Harnesses Implicit Finegrained Thinking for …
Lilian Weng (Lil'Log) · RSS 摘要
面向自我改进的 Harness 工程 — 递归自我改进（RSI）的概念最早可追溯至 I. J. Good（1965），他将"超智能机器"定义为一种在所有方面都能超越人类的系统…… 谨慎看待 Scaling Laws — Scaling laws 是深度学习中最关键的实证发现之一。其观察形式非常简单：随着模型规模的扩大，…
Cool Papers · cs.CL (papers.cool) · RSS 摘要
惊奇性理论是同义反复的（缺乏理性基础） — 惊奇性理论认为，语境中语言单元的人类处理难度等于其在某语言模型下惊奇性的仿射函数。我认为该主张…… MedGame：基于大语言模型的故事化游戏化医学教育 — LLM 在医学教育中具有潜力，但多数现有系统聚焦于问答或单轮反馈等局部交互，而非…… DONDO：面向非洲语言的开源 …
Nathan Benaich (State of AI) · RSS 摘要
欧洲无法通过租赁实现 AI 主权 — 当华盛顿能够一夜之间禁用某个模型时，问题已不在于 AI 是否安全，而在于由谁掌控。 AI 行业现状：2026 年 5 月 — 2026 年 4 月：AISI 的网络阈值、Microsoft 与 OpenAI 关系重置、中国开源权重模型实现编程能力对等、Agent 走向真实市场，以及…
Simon Willison · RSS 摘要
深入剖析为 token 转售者和欺诈行为提供动力的中继市场 — 深入剖析为 token 转售者和欺诈行为提供动力的中继市场。Matt Lenhard 对围绕 LLM token 转售而形成的市场进行了引人入胜的调查…… Ruff v0.16.0 — Ruff v0.16.0。Astral 于 7 月 23 日发布了 R…
Sebastian Raschka (Ahead of AI) · RSS 摘要
控制 LLM 的推理努力程度 — LLM 如何学习低、中、高强度推理模式 使用本地 Coding Agent — 在本地 Coding 环境中使用开源权重模型，作为 Claude Code 与 Codex 订阅方案的替代 LLM 研究论文：2026 年清单（1 月至 5 月） — 今年值得关注的 LLM 研究论文精选汇…
ByteByteGo · RSS 摘要
分布式系统时钟、因果关系与顺序入门指南 — 为什么"读取时间"如此简单的事在分布式系统中却成了难题？ 构建生产可用的 AI Agent 最佳实践 — 本文试图将各类实践汇总提炼为一套精简的规范，并阐释每条实践背后的原理，而非要求读者死记硬背大量规则…… Roblox 押注 World Model 的内幕 — 我们与 R…
Fireship (YouTube) · RSS 摘要
史上最有趣的"hack"…… 开放权重 AI 参数规模刚突破 2.8 万亿…… 这家估值 120 亿美元的初创公司终于发布了产品…… OpenAI 因侵权再次被告…… 史上最富争议的重写刚刚发布……
Andrej Karpathy (YouTube) · RSS 摘要
我如何使用 LLM 深入剖析 ChatGPT 这类 LLM 让我们复现 GPT2 (124M) 让我们构建 GPT Tokenizer [[1小时讲座] 大语言模型入门](
Import AI (Jack Clark) · RSS 摘要
Import AI 465：开源 vs 闭源差距；Kimi K3；Demis 的重大政策计划 — 奇点在事后回望时将被视为一个过渡期 Import AI 464：Fable 编写 GPU kernel；AI 自动化；以及模拟计算 — 这是新世界的开端吗？ Import AI 463：自我改进的机器人；一万卡中国 GPU…
Microsoft Research Blog · RSS 摘要
在 SymCrypt 中验证 Rust 密码学：从标准到代码 — 密码代码为现代计算系统提供关键保护。了解一种新方法如何在开发者编写代码时对其进行验证，同时保持速度与适应性…… Aurora 1.5：面向天气与地球系统应用的开放基础模型扩展 — Aurora 1.5 为 Aurora 基础模型新增 22 个变量、小时级…
Cool Papers · cs.CL (papers.cool) · RSS 摘要
Surprisal 理论是同义反复的（若无理性基础） — Surprisal 理论认为，上下文中的语言单元的人类处理难度，是其在某种语言模型下的 surprisal 的仿射函数。我认为该主张…… MedGame：由大语言模型赋能的叙事化游戏化机制助力医学教育 — 大语言模型（LLM）在医学教育中展现潜力，但现有系统大多…
Lilian Weng (Lil'Log) · RSS 摘要
Harness 工程与自我改进 — 递归自我改进（RSI）的概念可追溯至 I. J. Good（1965），他将“超级智能机器”定义为一种能够在所有方面超越人类…… Scaling Laws，深入辨析 — Scaling laws 是深度学习中最关键的实证发现之一。其观察形式简洁：随着模型规模的扩大，训练损失 $L$ …
Cool Papers · cs.IR (papers.cool) · RSS 摘要
用于推荐的扩散语言模型 — 由大型语言模型 (LLM) 驱动的推荐系统已成为生成式推荐的一种有前景的范式，利用其强大的语义推理与生成能力…… SHIFT：自重构赋能隐式细粒度思维用于检索 — 基于 LLM 的检索器已成为现代信息检索系统的基本组件。"先改写再检索"范式在检索前引入显式推理…… 弥合结构性鸿沟：面向推荐的…
ByteByteGo · RSS 摘要
分布式系统中时钟、因果关系与排序的入门指南 — 为什么看似简单的读取时间，会成为分布式系统中的难题？ 构建可在生产环境运行的 AI Agent 的最佳实践 — 本文尝试将众多经验归纳为少量核心实践，并阐释每条实践背后的原理，而非要求读者记忆大量条目。 深入解读 Roblox 对 World Model 的押注 — 本文…
Simon Willison · RSS 摘要
Ruff v0.16.0 — Ruff v0.16.0 Astral 于 7 月 23 日发布了其 Ruff Python 代码检查工具的一个重要新版本。我今天才注意到，因为我的多个 CI 任务全部开始失败…… 引述 Boris Cherny — 比这些评测分数更让我兴奋的是另一件事：Opus 5 是我们迄今为止最不易…