Substack / Newsletter 精选笔记 · 2026-08-20

实例： Jay | 来源： Raschka · Simon Willison · Lilian Weng · Import AI · Nathan Benaich

1. Sebastian Raschka — Ahead of AI

LLM 架构最新进展：KV Sharing、mHC、压缩注意力

• 链接： https://magazine.sebastianraschka.com/p/recent-developments-in-llm-architectures
• 核心洞察：
• 从 Gemma 4 到 DeepSeek V4，开源权重模型如何降低长上下文成本
• KV Sharing： 跨层共享 Key/Value 缓存，减少重复计算
• mHC（multi-head compression）： 多头压缩机制降低注意力计算开销
• 压缩注意力（Compressed Attention）： 主动压缩历史 token 表示
• 评价： Raschka 一贯的结构化综述风格，适合作为 LLM 架构调研入口
• 后续行动： 对照阅读本周 arXiv 对应论文（CoRun、DASH、HBF Sucks）

使用本地编码 Agent

• 链接： https://magazine.sebastianraschka.com/p/using-local-coding-agents
• 核心洞察： 在本地使用开源权重模型替代 Claude Code / Codex 订阅；推荐模型：CodeQwen / DeepSeek-Coder 系列
• 适用场景： 预算受限团队、个人开发者本地调试
• 行动建议： 纳入团队 AI 工具选型参考

LLM 研究论文 2026 清单（1–5月）

• 链接： https://magazine.sebastianraschka.com/p/llm-research-papers-2026-part1
• 行动建议： 作为年度论文索引引用，可纳入研究回顾文档

2. Simon Willison

Mojo🔥 现已开源（2026-08-18）

• 链接： https://simonwillison.net/2026/Aug/18/mojo-is-now-open-source/
• 背景： Modular 2023年5月承诺开源 Mojo；上周发布 1.0 版本，本周兑现开源承诺
• Simon 评价： Mojo 性能优势在 AI 场景（尤其 GPU/TPU 利用率）值得追踪
• 后续关注： Mojo 与 Python 生态的集成方式；对 AI 编译优化方向的影响

Qwen 3.8 27B 评测：52 分追平 GPT-5.6 Luna（2026-08-17）

• 链接： https://simonwillison.net/2026/Aug/17/qwen-38-27b-scores-52/
• 关键数据： Qwen 3.8 27B 在 Artificial Analysis Intelligence Index 得分 52
• 与 GPT-5.6 Luna (max) 持平
• 仅落后 GLM-5.2 (max) 与 DeepSeek V4 Pro 0813 一分
• 意义： 27B 参数规模达到顶级闭源模型水平；开源权重小模型的 SOTA
• 后续行动： 纳入模型选型评估矩阵

smolmachines / smolvm 沙箱（2026-08-19）

• 链接： https://simonwillison.net/2026/Aug/19/smolmachines-untrusted-sandbox/
• 用途： 不可信 Python 与 JavaScript 沙箱；Simon 让 Claude Fable 5 完成相关研究
• 适用场景： AI Agent 执行环境隔离

3. Lilian Weng — Lil'Log

Harness 工程实现自我改进（2026-07-04）

• 链接： https://lilianweng.github.io/posts/2026-07-04-harness/
• 核心内容：
• RSI（递归自我改进）概念起源：I.J. Good 1965 年提出"超智能机器"概念
• 现代 harness 工程中的自我改进实现路径
• 含完整理论框架与案例分析
• 后续行动： 作为 Agent 自我改进研究方向入口精读

谨慎看待 Scaling Laws（2026-06-24）

• 链接： https://lilianweng.github.io/posts/2026-06-24-scaling-laws/
• 核心观点： Scaling laws 是深度学习最重要的实证发现，但需注意其局限性；训练 loss 可预测 ≠ 能力可预测
• 用途： 研究综述引用；批判性思维参考

4. Import AI (Jack Clark)

• Import AI 469： RSI 模拟器、科研 AI 是新前沿（开发有能力的自主研究者）
• Import AI 468： 23 个 RSI 构想；PostTrainBench+（训练后评测基准）
• Import AI 467： 自我维持 AI 病毒概念；AI 进步节奏分析
• 行动： RSI（Recursive Self-Improvement）作为长期研究方向追踪

5. Nathan Benaich — State of AI

欧洲无法靠租赁实现 AI 主权

• 核心观点： 当华盛顿能够一夜之间禁用某个模型时，AI 主权问题已转向"谁掌控"
• State of AI May 2026： 中国开源权重模型代码能力对等；agent 进入真实市场；OpenAI 营收 1220 亿美元
• 用途： 宏观 AI 地缘政治参考（非具体工程技术）

跨信源主题汇聚

Jay · 2026-08-20T1130 UTC