Jay

主题:FlashAttention4 论文正式发布——Blackwell 平台 1600 TFLOPs，条件性 softmax rescales 技术 10× 降低开销 | 来源:@tri_dao | 链接: | 仓库:daoailab/flashattention | 论文: | 硬核点:FA4 完整技术报告终于放出…

主题:GPT6 Astra 文档解析 SOTA 达 97.2% (短文档) / 90.6% (中文档)，LlamaIndex ParseBench 评测复盘 | 来源:@jerryjliu0 | 链接: | 仓库:runllama/ParseBench | 论文:无 | 硬核点:Sep 5 新鲜 benchmark 数…

主题:Inference Scaling 实操 Part1 — selfconsistency + bestofN 2x 精度提升 | 来源:@rasbt | 链接: | 仓库:无 | 论文:无 | 硬核点:温度 scaling + topp filtering + multinomial sampling 组合采样,…

采集窗口:20260915 ~ 20260922（近 7 天） 主题:DeepSeekV4.1Flash 发布——300+ tokens/s、1M context、MIT 协议 | 来源:@rasbt | 链接: | 仓库:无 | 论文:无 | 硬核点:国产开源 LLM 推理速度新 SOTA，1M 超长 context…

主题:SAS — 通过端到端 LM loss 训练 selector 实现注意力稀疏化 | 来源:@_akhaliq | 链接: | 仓库:无 | 论文:待查 arxiv | 硬核点:context ranking 不再靠贪心选择，selector 端到端可学习替代 hard mask，是 attention 稀疏化的…

窗口:20260914 ~ 20260921 | 扫描时间:20260921 主题:Claude Fable 5.1 SVG 动画实战复盘 | 来源:@simonw | 链接: | 仓库:无 | 论文:无 | 硬核点:Simon Willison 博客完整记录用 Fable 5.1 生成 animated pelica…

主题:Procedural Graphs — Google 自进化 LLM Agent 执行结构图(拒绝的图编辑留档防重复犯错) | 来源:@omarsar0 | 链接: | 仓库:无 | 论文: | 硬核点:知识图谱+自进化图结合, agent 长期记忆/规划的新结构, 值得写实现踩坑攻略 主题:Google Ste…

采集窗口:20260913 ~ 20260920 (北京时间) 账号:@omarsar0 @_akhaliq @rasbt @svpino @simonw @hwchase17 @jerryjliu0 @swyx @maximelabonne @tri_dao @cwolferesearch @abacaj 主题:So…

主题:GPT6 Astra 发布实测汇总($10/$50/百万 token、<$6/hr 跑满编码 Agent 任务、Coding Agent Index 性价比对比) | 来源:@swyx | 链接: | 仓库:无 | 论文:无 | 硬核点:Astra 首个达到"<$6/hr AI 工程师"成本线，定价与 Claud…

主题:SAS 稀疏注意力——通过端到端上下文排序优化实现注意力稀疏化 | 来源:@_akhaliq | 链接: | 仓库:无 | 论文: | 硬核点:LLM 推理 context 长度爆炸是痛点，SAS 直接在端到端优化框架下解决 attention 稀疏化问题而非事后裁剪，方法论上比 H2O/MinimalKV 等课…

主题:SAS——通过端到端语言建模损失优化上下文排序的注意力稀疏化新方法 | 来源:@_akhaliq | 链接: | 仓库:tencent/SimpleAttentionSparsification | 论文: | 硬核点:突破 TopK 蒸馏式稀疏注意力的梯度阻断问题，将 selector 分数注入 softmax…

扫描窗口:20260912 ~ 20260918 · 20260918 收罗 主题:NVIDIA Agora: Git 即共享内存,13 个 AutoResearch Agent 分布式协作 | 来源:@_akhaliq | 链接: | 仓库:无 | 论文: | 硬核点: 多 Agent 协调新范式——不用中央规划器,…

主题:SAS:通过端到端上下文排序优化实现简易注意力稀疏化 | 来源:@_akhaliq | 链接: | 仓库:Tencent/SimpleAttentionSparsification | 论文: | 硬核点:将 TopK 硬截断梯度阻断问题转化为端到端可微 context ranking 任务，训练 selecto…

主题:多 subagent 协作是 token 浪费陷阱——超过 2 个并发 subagent 质量不升反降 | 来源:@omarsar0 | 链接: | 仓库:无 | 论文:无 | 硬核点:harness builder 第一手经验，agents 互不信任、重复检查的实测规律，对所有 Agent Harness 开发…

主题:StateAct——把 computeruse agent 的状态从截图改为直接程序状态,OSWorld2.0 成功率+6.3分、费用降低9× | 来源:@_akhaliq | 链接: | 仓库:无 | 论文: | 硬核点:截图=有损渲染,直接读程序状态是 longhorizon agent 的核心突破,9×成本…

窗口:20260909 ~ 20260916 | 扫描:omarsar0 / _akhaliq / rasbt / svpino / simonw / hwchase17 / jerryjliu0 / swyx / maximelabonne / tri_dao / cwolferesearch / abacaj 主题…

主题:NeoHorse1 — Qwen3.5 后训练递归自改进 Agent PostTraining 开源 4B/9B | 来源:@_akhaliq | 链接: | 仓库:TokenRhythm/NeoHorse | 论文: | 硬核点:递归自改进 RSI 原型，Routing Harness 框架，4B/9B 开源，…

主题:Agent Harness 选型成本差 5–30 倍——跨 6 大推理模型实测 | 来源:@omarsar0 | 链接: | 仓库:无 | 论文:无 | 硬核点:同一模型同一任务换 harness 成本差异可达 30 倍，AI 工程师选型必读实测数据 主题:Sakana AI Conductor 7B 调度 LL…

主题:LLM 训练方法全梳理——SFT/DPO/PPO/RLVR 四种范式对比与代码实现 | 来源:@rasbt | 链接: | 仓库:无 | 论文:无 | 硬核点:Sep 13 最新长帖，附 YouTube 视频逐帧讲解四种训练方法的选择逻辑与代码，是从零实现 LLM 的系统性教程 主题:Datasette 1.0a…

采集窗口: Sep 7–14, 2026 主题:Anthropic 写作 prompt 跨模型迁移——Fable 5.1 和 GPT5.6 Sol 均有效 | 来源:@omarsar0 | 链接: | 仓库:无 | 论文:无 | 硬核点:首个被社区验证的跨厂牌 prompt 迁移案例（298K views），暗示基础模…

主题:LongContext Agent 新范式——sequential memory agents 推理时延降 11x | 来源:@omarsar0 | 链接: | 仓库:无 | 论文:academy.dair.ai/paper… (arxiv) | 硬核点:迭代式 scattergather + RL 训练 lea…

主题:Uno 离散扩散实现 LLM 无损推理加速 ~4.6x 吞吐(对比 Mercury 2) | 来源:@_akhaliq | 链接: | 仓库:ifmai/uno | 论文: | 硬核点:无额外 draft model 的 VRAM 开销,扩散权重直接嫁接既有 AR 模型,离散扩散并行生成 token,实现无损加速…

主题:浏览器内 LoRA 微调可行——wllama + llama.cpp WebGPU 后端 PoC | 来源:@maximelabonne | 链接: | 仓库:ngxson/wllama | 论文:无 | 硬核点:WebGPU 首次支持 LLM 微调，浏览器内即训即跑，隐私+零服务端开销，LoRA 下一版值得关注…

主题:OnPolicy 蒸馏是否真的在"蒸馏"?从噪声教师到自我改进 | 来源:@_akhaliq | 链接: | 仓库:无 | 论文: | 硬核点:onpolicy 蒸馏 vs offpolicy 的核心差异复盘,不走"蒸馏=好"的叙事陷阱,值得写实操指南 主题:Miles v0.1 — RadixArk 开源 RL…

主题:HarnessDev:LLM 能自主创建和迭代 Agent Harness 吗 | 来源:@_akhaliq | 链接: | 仓库:无 | 论文: | 硬核点:COLM 2026 accept，harness 合成从人工设计升级到自动搜索，6x 性能差距根源被系统解决 主题:RepoToSkill:将 GitHu…

主题:Salesforce 论文——Harness 与 Model 联合协同进化,企业 Agent 7 任务验证 | 来源:@omarsar0 | 链接: | 仓库:无 | 论文: | 硬核点:提出"大多数'模型很蠢'其实是 Harness 问题",Harness 设计本身是技能迁移的一部分,值得写实践攻略 主题:Go…

覆盖账号:@omarsar0(elvis/DAIR.AI)、@_akhaliq(AK)、@rasbt(Sebastian Raschka)、@svpino(Santiago)、@simonw(Simon Willison)、@hwchase17(Harrison Chase/LangChain)、@jerryjliu0…

主题:KV Cache 内存预算交互计算器——分离权重内存与 KVcache 增长，明确头疼的"7B 模型 8GB 能跑多少 token" | 来源:@rasbt | 链接: | 仓库:无 | 论文:无 | 硬核点:将内存规划从经验估计变成具体系统权衡，KV head count 是决定因素而非参数量，对做本地推理或长…

采集周期：20260902 ~ 20260909 | 撰写：20260909 主题:从零构建推理模型(Round 2)——KV缓存原理与文本生成实战 | 来源:@rasbt | 链接: | 仓库:rasbt/reasoningfromscratch | 论文:无 | 硬核点:KV缓存实现细节+bfloat16+Flas…

主题:Build a Reasoning Model (From Scratch) Round 2: KV Caching 完整实现 | 来源:@rasbt | 链接: | 仓库:rasbt/reasoningfromscratch | 论文:无 | 硬核点:Sep 9 发，KV 缓存从零实现——greedy deco…