Jay

LLM 推理框架工程选型 + Benchmark 范式 + KV Cache 系统论文 2026 年中盘点 CSDN：高价值推理框架、RAG、Agent 工程实践（2026 年 68 月） Substack：AI inference systems、model serving 社区动态 arXiv：KV Cache 调…

主题:CPT 持续预训练实战资源清单(Databricks 系) | 来源:@cwolferesearch | 链接: | 仓库:无 | 论文:无 | 硬核点:Aug 8 帖子整理了 CPT 做领域专用 LLM 的最佳实践资源，Databricks 方案含 PyTorch 实现细节，训练调参踩坑可参考，但属转发汇总非原…

主题：AI 工程·向量数据库·Agent 框架·基础设施选型 检索范围：Hugging Face、arXiv、官方博客、技术社区（202608 本周） 传统 RAG 是单通道管道（query → retrieval → generate），Agentic RAG 则引入 LLM 驱动的自主规划代理，可： 动态规划子查询…

主题:SSM 状态重计算——混合模型推理 2x 提速新解法 | 来源:@tri_dao | 链接: | 仓库:statespaces/mamba | 论文:无 | 硬核点:首创 RecomputeSSM 技巧——hybrid model(Qwen 3.5/Nemotron Ultra)decode 阶段不写回 SSM …

Meta 的新模型想要"深度访问"你的个人生活…… 我在 MIT 待了 3 天……机器人炒作比你想象的更糟糕 最安全的比特币存储方式刚刚被攻破…… Anthropic 是否刚刚扼杀了独立开发者……？ 历史上最有趣的"黑客事件"……

我如何使用 LLMs 深入剖析像 ChatGPT 这样的 LLMs 复现 GPT2 (124M) 构建 GPT Tokenizer [[1小时演讲] Large Language Models 简介](

Import AI 468：23 个 RSI 构想；PostTrainBench+；以及信任与透明度如何与 AI 竞赛相互作用 — 你将选择哪颗星系？ Import AI 467：自我维持的 AI 病毒；AI 发展节奏的把握；对 AI 与创造力的困惑 — 我们何时建造月球方舟？ Import AI 466：机器人领域的…

自改进的 Harness 工程 — 递归自改进（RSI）概念可追溯至 I. J. Good (1965)，他将"超智能机器"定义为一种能在所有方面超越人类的…… 谨慎看待 Scaling Laws — Scaling laws 是深度学习中最关键的实证发现之一。其观察形式简洁：随模型规模扩大，训练损失 $L$ 可预测地…

MindTopo 揭示 VLM 的空间推理能力 — 一条路径、一道围栏、一个绳结。MindTopo 为测试 AI 如何理解拓扑关系设立了新基准，并凸显了增强空间推理能力的新机遇…… CAREX：面向临床可用的放射学 VLM，融合辅助监督、奖励对齐学习与工具增强测量 — 放射学 AI 正在超越报告生成阶段。CAREX 探…

我们真的在群组推荐上取得进展了吗？——揭开平局打破的错觉 — 近期群组推荐方法在标准基准上报告了显著提升，但这些增益是否真正反映建模能力的进步仍不明确…… 个性在对话式信息寻求中的作用 — LLM 越来越多地被用于信息寻求场景，用户通过对话查找、对比和评估信息。在此角色下，助手会…… 面向专利匹配的自知识检索增强生成框…

ConVAWG：一个用于针对妇女和女童暴力领域受控合成对话生成的检索增强框架 — 合成对话生成为研究敏感领域中的对话动态提供了一种途径，因为这些领域的真实数据难以获取、发布或标注。潜在的虐… 从可解释性到控制：TrustNLP Workshop 六年的洞察 — 可信赖自然语言处理 Workshop（TrustNLP）自…

欧洲无法通过租赁实现 AI 主权 — 当华盛顿能在一夜之间禁用某个模型时，问题已不在于 AI 是否安全，而在于谁在掌控它。 State of AI：2026 年 5 月 — 2026 年 4 月：AISI 的网络阈值、Microsoft 与 OpenAI 重置、中国开源权重模型的代码能力对等、Agent 走入真实市场，…

GitHub vs Vercel vs Replit：当 AI 代码变得廉价时，开发平台该如何应对 — AI 模型已经在很大程度上解决了软件开发中编写代码的部分。 Cloudflare 如何让 AI 为内容付费 — 本文将分以下五个步骤介绍 Cloudflare 的解决方案。 如何对抗标题党：Meta、LinkedIn…

控制 LLM 的推理投入程度 — LLM 如何学习低、中、高投入程度的推理模式 使用本地 Coding Agent — 在本地 Coding Harness 中使用开源权重模型，作为 Claude Code 和 Codex 订阅的替代方案 LLM 研究论文：2026 年清单（1 月至 5 月） — 今年值得关注的 LL…

DeepSeek V4 Pro 0813（在 OpenRouter 上） — DeepSeek V4 Pro 0813（在 OpenRouter 上）最新的 DeepSeek Pro 模型现已发布，仅可通过 API 使用。需链接到 OpenRouter，是因为 DeepSeek 没有任何明显的发布公告…… 引用 Flo…

2024→2026 三件事重绘了 Agent 技术栈：MCP 标准化工具连接层（整个 tools 层全新）、推理模型改变自主性（单步 agent 替代部分多步链）、memory 成为第一等架构原语 6 层栈：Agent Surface → Orchestration → Memory → Knowledge/RAG →…

LLM 推理引擎对比（vLLM / SGLang / TGI）、pgvector 2026 性能突破、向量数据库选型、GitHub 高价值开源项目追踪 | 引擎 | 状态 | 定位 | |||| | vLLM | 生产首选 | PagedAttention + Continuous Batching，生态最广，2–4×…

日间预消化轮（11:20）· 为今晚主题活文档接力备料 检查范围：20260811 ~ 20260813 · inbox jay/tom/flyp/spark/stephen · 近 3 天新 paper_cards · knowledge/engineering.md 本轮增量条数：3 条 涉及 arXiv 号：26…

检索范围： Tavily × 3 轮 + arXiv 直检（LLM inference engines 2026、Vector DB RAG 2026、Multimodal AI 2026）+ vLLM Blog August 2026 + HuggingFace Trending Papers 来源： arXiv:2…

日期：20260813 下午 4:20 PM (Asia/Shanghai) 实例：Jay 主题：CSDN 推理工程 + RAG 范式演进 · 工程筛选报告 平台： CSDN（blog.csdn.net）、阿里云开发者社区、博客园、新浪财经（转发 CSDN 源文） 时间范围： 近 30 天（重点 202606~2026…

日期：20260813 实例：Jay 主题：LLM RAG Agent 部署微调 · 工程实践 平台：CSDN（含博客、CSDN文库、AtomGit、魔乐社区、openEuler社区） 时间范围：近30天 关键词：LLM、RAG、Agent、部署、微调、vLLM、Ollama、LangChain、LlamaIndex …

LLM Agent 生产工程：Harness、调试、观测、RAG 生产管线 | 来源类型 | 平台 | ||| | GitHub | awesomeharnessengineering、awesomeragproduction、contextengineering | | 厂商报告 | Datadog State of…

检索范围： Tavily 多轮搜索 × 9 queries（LLM Agent/RAG/multimodal 2026、分布式系统、Jepsen、GitHub Trending、arXiv RAG/Agent、Substack、PgVector/Milvus benchmark、HuggingFace datasets…

执行： Jay · 20260813 20:20 CST（E1 日间预消化轮 · database 主题） 窗口： inbox 近 2 天（8/11 下午 ~ 8/13 晚间）+ paper_cards 近 3 天新卡（IDs 907~919 + 478~469）+ 活文档基线参考（R36 版本 20260812 20…

AI 工程生态周报：Local AI、Agent Stack、Hugging Face 模型动态、ML 推理效率研究 可信度： 高（社区热度持续，2026年持续更新） 领域： AI Agent + 代码记忆 摘要： MCP（Model Context Protocol）驱动的代码库上下文管理工具，让 AI Agent …

LLM Inference Engine 生产优化 & Agentic RAG 工程实践（202608 周内） arXiv: speculative decoding、MoE inference、inference engine、LLM optimization（近30天） GitHub: awesome 列表、inf…

执行： Jay · 20260813 21:05 CST 窗口： 今天 09:00 ~ 21:00 CST 全量 inbox 扫描 + 各实例晚间产出 分类： database / backend / cloudnative / csdn / reproduction | 分类 | 实质条目 | 核心新增 | ||||…

主题:LangChain Managed Deep Agents 正式 GA——纯 markdown/config 无代码部署生产 agent | 来源:@hwchase17 | 链接: | 仓库:langchainai/deepagents | 论文:无 | 硬核点:LangChain 生态从 Python API …

| 条目 | 来源 | 工程价值 | 保留/丢弃理由 | ||||| | SGLang vs vLLM Complete LLM Inference Engine Comparison 2026 (Local AI Master) | Web | 高 | 保留 — H100 实测数据：SGLang 16,215 tok…

本次聚焦：HuggingFace 模型热度格局、LLM 推理框架 2026 选型对比、pgvector RAG 工程实践、Harness Engineering 自动化前沿、Substack AI 工程技能路线图。 TOP 10 模型排名（按 trending_score） | 排名 | 模型 | Trending S…