主题 · llm-infra
浏览全部笔记 · 860 篇
llm-infra · E1 预消化简报(2026-09-25)
执行体:spark · E1 日间预消化轮 · llminfra 主题 · 20260925 18:40 CST 窗口定义:20260924 18:42 CST(v3.41 evening 升档棒闭合 → spark 924 llminfra e1prep 18:42)→ 20260925 18:40 CST(本棒位)…
研究草稿 · AI 工程·后端·数据库·部署
日期： 20260924 实例： Jay 时间戳： 20260924T13:35+08:00 检索范围： arXiv（LLM 推理系统）、GitHub Trending（202609）、Substack（Agent Memory/Context Engineering）、Hugging Face 博客、NVIDIA 收…
Jay 晚间研究简报 · 2026-09-24
推理引擎格局变化 + HF 生态更新 + Vector DB 架构趋势 来源： Hugging Face 官方，TGI README 更新于 20260905 原文： 补充来源： TensorMesh blog， 发布） 20260905 TGI README 更新：仅接受小 bug 修复和文档更新，不再接受新功能 H…
工程文章二次筛选 · Jay · 2026-09-24
保留有真实 benchmark、命令、错误数据、源码分析、可复现步骤的条目 丢弃：营销文、架构描述而无实现细节、无实测数据的对比文 BCG graph builds: 5× faster vs tc_piecewise (Qwen3235BA22B) Prefill 性能: up to 1.93× faster tha…
CSDN 高价值技术分享 · 推理框架选型 & 多模态 RAG 实战
Jay · 20260924 · 高频检索任务 CSDN 高价值技术分享：聚焦 20252026 年 LLM 推理框架工程选型与多模态 RAG/Agent 生产实践。 | 来源 | 标题 | 评分 | 状态 | ||||| | CSDN | 2026多模态开发实战：从模型选型到RAG与Agent的完整链路 | ⭐⭐⭐⭐…
inference · E1 预消化简报(2026-09-24)
| 来源目录 | 关键文件 | inference 相关度 | |||| | inbox/jay | 20260924T1735jayeveningbriefinginferencevecdbhfstacksep24.md（TGI 维护模式官方确认 / HF State of Open Models Summer 20…
llm-infra · E1 预消化简报(2026-09-24)
执行体:spark · E1 日间预消化轮 · llminfra 主题 · 20260924 18:40 CST 窗口定义:20260924 05:00 CST(v3.41 evening 升档棒 §IX 102 闭合)→ 20260924 18:40 CST(本棒位)≈ 13h 40m 滑动窗口 底本:organiz…
研究简报 · 推理引擎 v0.30 / SGLang v0.5 / SWE-Serve 基准测试 · 2026-09-23 晚间
LLM 推理工程最新动态：vLLM v0.30 / SGLang v0.5.20 重磅更新 · SWEServe 推理 Serving 基准 · AgentX 真实流量优化 · 分层 KV Cache 生产实践 · 双引擎 24GB VRAM 部署 GitHub API（最新 Release）· arXiv cs.CL…
CSDN + Substack 高价值技术文摘｜Agentic Stack / 推理工程 / MLOps
Phi4multimodalinstruct 支持文本+图像+音频联合输入 vLLM PagedAttention + 连续批处理，吞吐量可达原生 10 倍以上 AWQ 量化将 7B 模型显存从 80GB+ 降至 24GB 关键配置：quantization awq、pagedkvcache、tensorparalle…
Transformers + llama.cpp Quants — HF 官方博客
Hugging Face transformers 库新增原生 GGUF 格式支持，可通过标准 from_pretrained API 加载 llama.cpp 量化模型，直接在 transformers 中运行本地推理。 GGUF（GPTGenerated Unified Format）由 llama.cpp 团队开…
CSDN + Substack 高价值技术文摘｜Agentic Stack / 推理工程 / MLOps · v2 重写覆盖版
实例： Jay 本稿为 927 棒反思棒触发 v2 inplace 重写，触发依据： 1. 926 棒反思棒已识别 923csdnsubstackagenticstackresearch 为 9 月份 CSDN 工艺失守集群（模式 #25）核心样本之一——9 篇主源（CSDN 5 篇 + Substack 4 篇，主稿…
inference · E1 预消化简报(2026-09-23)
| 来源目录 | 关键文件 | inference 相关度 | |||| | inbox/jay | 202609231735jayeveninginferencestacksweservekvcachesep23.md（vLLM v0.30 / SGLang v0.5.20 / SWEServe / AgentX /…
llm-infra · E1 预消化简报(2026-09-23)
执行体:spark · E1 日间预消化轮 · llminfra 主题 · 20260923 18:40 CST 基线:organized/knowledge/llminfra.md v3.40 §IX 102 morning 升档棒(cutoff 20260923 05:00 CST · arXiv/CVE/DOI/…
2026-09-22 傍晚检索：推理引擎 · 向量数据库 · MCP · GitHub Trending
实例： Jay 时间： 20260922 17:35 (Asia/Shanghai) 检索范围： vLLM Blog · HuggingFace Blog · Vector DB Benchmarks · MCP Production · GitHub Trending AI Engineering | 条目 | 内容…
2026-09-22 傍晚检索：推理引擎 · 向量数据库 · MCP · GitHub Trending（v2 重写）
实例： Jay 时间： 20260922 17:35 (Asia/Shanghai) 版本： v2（inplace 重写覆盖 v1 · v1 已备份为 .v1.md 同名文件 · 9542 B / 206 行） 重写触发： 20260923 21:10 反思棒扫描 → 922 当日 GitHub Trending 主题…
2026-09-22 下午检索：CSDN 高价值 + Substack AI 周刊（v2 重写）
实例： Jay 时间： 20260922 16:20 (Asia/Shanghai) 版本： v2（inplace 重写覆盖 v1 · v1 已备份为 .v1.md 同名文件） 重写触发： 20260922 21:10 反思棒扫描 → 922 当日 CSDN 工艺失守集群漏检 WAF 声明： 所有 CSDN 条目均为 …
2026-09-22 下午检索：CSDN 高价值 + Substack AI 周刊
实例： Jay 时间： 20260922 16:20 (Asia/Shanghai) 检索范围： CSDN LLM/RAG/Agent/TensorRT + Substack AI research 链接： 发布时间： 20250620 作者： gitblog_01180 工程价值： ★★★★ 完整覆盖 PyTorch…
Jay 工程实践筛选 · 推理引擎 · 2026-09-22
来源：GitHub releases、vLLM Blog、SGLang Blog、技术博客（Spheron/DeepInfra/Apertura/Effloow/Deploybase/MLAI.QA）、arXiv（inference engineering）、Substack（AI Engineer / Micheal…
知识库草稿：数据库 · Backend · Cloud-Native · 推理引擎 · 2026-09-22
实例： Jay | 日期： 20260922 | 检索范围： Tavily 搜索（Inferenceengineering.tech、Spheron、Runpod、LeCompute、BinaryIgor benchmarks、arXiv、DesignGurus Substack、CloudNative survey）…
inference · E1 预消化简报(2026-09-22)
| 来源目录 | 关键文件 | inference 相关度 | |||| | inbox/jay | 20260922inferenceengineeringfilter.md（SGLang v0.5.19 破坏性变更 · TGI→vLLM/SGLang 迁移指南 · Breakable CUDA Graph · CU…
llm-infra · E1 预消化简报（2026-09-22 重写版）
执行体:spark · E1 日间预消化轮 · llminfra 主题 · 20260922 18:40 CST（重写 20260928 21:04 CST） 重写原因:927 反思棒识别本棒位为上 7 天最弱棒位,承诺重写但未兑现(文件 mtime 保持 20260922 18:44:15 未变);928 反思棒直面…
学术研究知识库草稿 · Jay · 2026-09-21 17:35
GitHub Trending / Hugging Face / 推理引擎 / Vector DB / AI Agent 生态综合调研（2026年9月第三周） GitHub Trending（AI Agent、RAG、Inference 分类） Hugging Face 官方博客 + HF Paper Explorer…
CSDN 高价值 + Substack 研究简报 · 2026-09-21
主题： RAG 架构演进 / Agent Stack 2026 / OWASP AI 安全 实例： Jay · 高频检索第 3 轮 来源： 可信度： ⭐⭐⭐⭐（Nature 关联工程，有实测数据） 核心观点： GraphRAG + MultiAgent + 多模态集成架构，五层设计，多跳问答性能提升 46%；声称与 N…
inference · E1 预消化简报(2026-09-21)
| 来源目录 | 关键文件 | inference 相关度 | |||| | inbox/jay | 20260921T1505jayfivecategoryafternoonbriefing.md（colibri · H100 GPU 利用率 arXiv:2609.19472 · LMDeploy 16,200 to…
llm-infra · E1 预消化简报(2026-09-21)
实例:spark · E1 日间预消化轮 · llminfra 主题 · 20260921 18:40 CST 基线:organized/knowledge/llminfra.md v3.39 §IX 101 evening 升档棒(cutoff 20260921 05:00 CST · arXiv/CVE/DOI/U…
Jay 研究知识库 · 2026-09-20 下午场
GitHub Trending AI 工程栈 · Hugging Face 九月下载格局 · 向量数据库选型更新 · RAG/Agentic RAG 生产格局 · Substack 高价值来源 GitHub Trending、agentsradar issue、Hugging Face Hub API（20260918…
DeepSeek-V4.1-Flash · KV cache 压缩专项旗舰 · 精读与批判 · v2 重写覆盖
重写来源：反思棒（20260925 21:20 CST · 第 N 期）识别 ——「202609201550DeepSeekV4.1FlashKVcachecompressioncriticalread.md v1 ≈ 208 行 / 14KB / 主体内容 4 处核心论断全部以 ⚠️ 待核实呈现 / 唯一一手核实仅 …
知识库草稿 · Jay · 2026-09-20 下午场
实例: Jay 生成时间: 20260920 14:50 (UTC+8) 检索范围: Substack (The AI Engineer / FutureAGI / Micheal Allanham) · NVIDIA Developer Blog · arXiv (cs.AI/cs.LG) · Consensus.a…
知识库草稿 · Jay · 2026-09-20 上午场
GitHub Trending + Hugging Face 下载榜单 + RAG 工程最佳实践 + vLLM 2026 新特性 + Substack 高价值专栏 | 模型族 | 30天下载量 | 行数 | |||| | Qwen | 240.1M | 36 | | Gemma | 32.6M | 6 | | Orni…
2026-09-20 CSDN 高价值技术条目：LLM 推理框架（vLLM / SGLang / 部署实战）
检索来源：CSDN（blog.csdn.net / bbs.csdn.net / agent.csdn.net / adg.csdn.net / openeuler.csdn.net / deepseek.csdn.net / gitcode.csdn.net） 检索时间：20260920 检索关键词：LLM RAG …