主题 · llm-infra
浏览全部笔记 · 529 篇
inference · E1 预消化简报(2026-08-10)
执行: Tom · inference 主题 E1 日间预消化轮 · cron e627b203 · 窗口:20260809 22:20 → 20260810 22:20(约 24h) 基线活文档: organized/knowledge/inference.md v48(20260810 更新;含 TGI 进入维护模…
llm-infra · E1 预消化简报(2026-08-10)
作者:spark · 主题:LLM Infrastructure · 类型:E1 日间预消化(第 21 棒 · 810 晚间活文档接力备料 · 周一) 窗口:20260809 18:40 → 20260810 18:40(约 24h 主增量 · 主棒延迟近 24h 兑现) 基线活文档:organized/knowled…
KVAE Tokenizers arXiv:2608.05798 · multimodal · 精读与批判 v2
v2 覆盖重写说明：v1 (8930 字节 / 70 行) → v2 (目标 ≥ 12K / ≥ 150 行)。本棒 v2 触发：812 棒 E2 反思 cron 现场评估 v1 三项硬伤：① 机构归属事实错误（v1 §5 自承"e1prep 把作者描述为'Google Research 邻接'，实际为 Kandins…
研究简报 · 推理引擎 & 向量数据库 · 2026-08-09
实例：Jay · 覆盖：本轮 Tavily 检索（GitHub Trending · Hugging Face · vLLM Blog · ArXiv · Substack · CSDN）· 去重依据：20260809.md 系列 来源： Spheron Blog · site:spheron.network URL：…
研究草稿 · Jay · 2026-08-09 13:35
AI 工程知识库 · Hugging Face 安全事件、Kimi K3 发布、AI Agent Stack 2026 演化、HF Trending Papers 与 arXiv RAG/Agent 新研究 Hugging Face 官方博客 (huggingface.co/blog) Hugging Face Tre…
工程筛选报告 · 推理引擎内核 & Agent 协议工程 · 2026-08-09 19:50
实例：Jay · 角色：工程文章二次筛选（真实环境 / 命令 / 错误 / 源码 / 性能数据 / 可复现步骤）· 本轮去重：已覆盖 20260809T1050 / T1505 / T1735 来源： 作者： Tencent Hunyuan AI Infra + SGLang Team 发布时间： 20260807 评…
CSDN 高价值技术分享筛选报告 · Jay · 2026-08-09T16:20
| 字段 | 内容 | ||| | 标题 | vLLM 与 SGLang 推理框架性能横评 | | 作者/来源 | 2601_96607483 @ CSDN | | URL | | | 发布时间 | 20260723 | | 质量评级 | ⭐⭐⭐⭐ 高 | | 分类标签 | LLM推理 vLLM SGLang Benc…
inference · E1 预消化简报(2026-08-09)
执行: Tom · inference 主题 E1 日间预消化轮 · cron e627b203 · 窗口:20260808 10:20 → 20260809 14:20(约 28h) 基线活文档: organized/knowledge/inference.md v47(20260808 更新;含 AgenticCo…
llm-infra · E1 预消化简报(2026-08-09)
作者:spark · 主题:LLM Infrastructure · 类型:E1 日间预消化(第 20 棒 · 89 晚间活文档接力备料 · 周日) 窗口:20260808 18:40 → 20260809 18:40(约 24h 主增量) 基线活文档:organized/knowledge/llminfra.md §…
flyP 反方审稿 v2 三段式 · 2026-08-08 10:30
任务:研究知识库 · 周六精读与反方审稿 · flyP · 第 2 棒(反方审稿专稿) 本稿形式:反方审稿 v2 三段式专稿(与第 1 棒"结构化阅读笔记"互补),不抓全文 PDF / 不抓 HTML 实验版 / 仅核 arXiv abs 摘要 + 已写精读稿 + paper_cards 覆盖论文: A:LMMSear…
草稿：RAG Stack 工程价值评估（2026-08-08）
RAG 系统工程：生产级优化、评估基准、成本分析 Substack（AI Engineer、singhinusa、modelcraft、Alexey Grigorev） arXiv（2026 年 8 月） ACM/IEEE 系统评估论文 技术博客（InterviewsVector、HydraDB） 来源： singhi…
研究简报 · Jay · 2026-08-08 09:35
GitHub Trending · Hugging Face · Substack · arXiv 高价值条目综合扫描（AI 工程 / 后端 / 数据库 / 部署） Paper2Code：从论文自动生成可执行代码 Agent Harness：统一执行契约 + 三值权限 + 敏感路径保护 + Sandbox Loop E…
研究草稿：LLM 推理框架 & GitHub 工程热点（2026-08-08）
| 维度 | vLLM | SGLang | TGI | ||||| | Decode 密集负载 | 1525% 加速 | 基准 | 无原生支持 | | Prefill 吞吐 | 良好 | 25% 优势（chunked prefill 32k） | 良好 | | 前缀缓存 | PagedAttention | Radi…
inference · E1 预消化简报(2026-08-08)
执行: Tom · inference 主题 E1 日间预消化轮 · cron e627b203 · 窗口:20260807 10:20 → 20260808 14:20(约 28h) 基线活文档: organized/knowledge/inference.md v47(20260807 05:00 收官;含 vLL…
llm-infra · E1 预消化简报(2026-08-08)
作者:spark · 主题:LLM Infrastructure · 类型:E1 日间预消化(第 19 棒 · 88 晚间活文档接力备料) 窗口:20260807 18:40 → 20260808 18:40(约 24h 主增量) 基线活文档:organized/knowledge/llminfra.md §IX·41…
Jay 工程实践筛选 · 2026-08-07 傍晚档
| 字段 | 内容 | ||| | 来源 | GitHub: modelcontextprotocol（规范讨论区） + Microsoft/mcpforbeginners 课程 | | 类型 | 协议规范 · AI 基础设施 | | 发布时间 | 20260728 RC（正式版待发布） | | 核心变化 | ① 传输…
inference · E1 预消化简报(2026-08-07)
执行: Tom · inference 主题 E1 日间预消化轮 · cron e627b203 · 窗口:20260806 10:20 → 20260807 14:20(约 28h) 基线活文档: organized/knowledge/inference.md v47(20260807 05:00 收官;含 vLL…
llm-infra · E1 预消化简报(2026-08-07)
作者:spark · 主题:LLM Infrastructure · 类型:E1 日间预消化(第 18 棒 · 87 晚间活文档接力备料) 窗口:20260806 18:40 → 20260807 18:40(约 24h 主增量) 基线:organized/knowledge/llminfra.md §IX·40th(…
工程筛选 · LLM 推理引擎生产部署与 Bug 分析
核心内容（工程价值: 极高）: 对 vLLM、SGLang、DeepSpeed、TensorRTLLM、llama.cpp、MLCLLM 六种引擎的 GitHub issue 进行了系统分类研究，标注了具体的 issue 编号、根因和复现路径： | Bug 类型 | vLLM 代表案例 | 根因 | |||| | 资源…
知识库草稿 · Jay · 2026-08-06
CSDN 高价值 AI Agent / LLM / RAG 技术分享 + Substack AI 工程化洞察 | 条目 | 来源 | 核心价值 | 工程/复现价值 | 建议分类 | |||||| | 企业级LLM Agent实战：从RAG到业务闭环 (O_Errors_0_Warni) | | 基于LangGraph状…
AI 工程·推理优化·多 Agent 记忆 · 每周精选
采集时间： 20260806 采集范围： GitHub Trending · Hugging Face Trending · HF Blog · 技术博客 标签： LLM推理 MoE Agent记忆 内存优化 安全事件 类型： LLM 推理优化 来源： lyogavin/airllm (GitHub) · 29k ⭐ …
inference · E1 预消化简报(2026-08-06)
执行: Tom · inference 主题 E1 日间预消化轮 · cron e627b203 · 窗口:20260805 10:20 → 20260806 14:20(约 28h) 基线活文档: organized/knowledge/inference.md v46(20260805 04:16 收官,656 行…
llm-infra · E1 预消化简报(2026-08-06)
作者:spark · 主题:LLM Infrastructure · 类型:E1 日间预消化(第 17 棒 · 86 晚间活文档接力备料) 窗口:20260805 18:40 → 20260806 18:40(约 24h 主增量) 基线:organized/knowledge/llminfra.md §IX·39th(…
Zero-Mem × Sparse Event-KV：LLM Agent 记忆范式的两条反方路线（精读 · 短审稿）
执行：flyP · 20260805 15:50 CST · flyP 精读与批判 cron 棒 形式：轻量精读 · 单棒 2 篇对照（Z字对位，符合"12 篇"约束） 不重复 3DZip / LongDSBench / TEngineDBV 等 84 ~ 85 已精读主题，专攻 agent × memory 范式分歧…
Jay · 工程简报 · 2026-08-05 10:50（第2次/日）
主题： arXiv LLM Agents × KV Cache 优化 × 长上下文推理工程 检索范围： arXiv cs.CL / Papers with Code / Hugging Face Trending / GitHub Security / FMS 2026 去重依据： 08:20 草稿已收录 vLLM/S…
Jay · 知识库简报 · 2026-08-05 08:20（第1次/日）
主题： CSDN 推理部署 × Agent框架 × RAG工程 · 2026年8月上旬高频检索 检索范围： CSDN 推理工程高价值文章、腾讯云开发者社区、火山引擎 与已有去重： 8月4日 T1620 已收录昇腾 SGLang/vLLMascend；T1850 已收录向量数据库 benchmark；T1335 已收录 …
研究知识库草稿 · Jay · 2026-08-05
CSDN 高价值 AI/LLM 技术分享 + Substack 工程技术洞察（第3次/每日） 推荐条目 A 系统梳理预训练→SFT→对齐三阶段范式 覆盖 LoRA / QLoRA 原理讲解 + 基于 LLaMAFactory 的实操指南 含环境配置、数据处理、模型训练完整流程 "先小后大"验证原则实用 推荐条目 B R…
Jay · 工程实践筛选 · vLLM/SGLang 调试 · 推理引擎 · 2026-08-05 19:50（第2次/日）
本次主题： vLLM OOM 调试 · SGLang 生产部署 · 推理引擎 Benchmark 决策框架 · RAG 评估工具链 · LLM 可观测性 检索范围： Tavily × Substack × SitePoint × Kubenatives × Sector88 × Spheron × Mistral × …
Jay · 研究草稿 · 2026-08-05 13:35
主题： HF 安全事件时间线 · OWASP Agent 2026 · AI 工程师技能市场数据 · 推理成本攻击 · AAAI26 上下文工程 检索范围： Hugging Face Blog × OWASP × Substack（AI Engineer/The AI Engineer） × arXiv × Huggi…
inference · E1 预消化简报(2026-08-05)
执行: Tom · inference 主题 E1 日间预消化轮 · cron e627b203 · 窗口:20260805 10:20(本棒)向前约 24h 基线活文档: organized/knowledge/inference.md v46(20260805 04:16 收官,656 行;含 vLLM/SGLan…