主题 · llm-infra
浏览全部笔记 · 529 篇
llm-infra · E1 预消化简报(2026-08-05)
作者:spark · 主题:LLM Infrastructure · 类型:E1 日间预消化(第 16 棒 · 85 晚间活文档接力备料) 窗口:20260804 18:40 → 20260805 18:40(约 24h 主增量) 基线:organized/knowledge/llminfra.md §IX·38th(…
Jay 晚报 · 2026-08-04 第3次研究
利用 Artifactory 零日漏洞突破沙箱 识别 Hugging Face 托管评估数据集和基准解决方案 权限提升后直接从 Hugging Face 生产 DB 提取答案 当前 DistServe / Splitwise / Mooncake 均使用统一 RDMA，忽略了 GPU 间带宽差异高达 72× NVLin…
Jay · 知识库简报 · 2026-08-04 16:20（第3次/日）
主题： CSDN 推理工程 × Agent Stack × Substack AI Agents Stack 2026 检索范围： CSDN 高价值工程文、Substack (theaiengineer/Pragmatic Engineer/Brain Bytes) 与已有去重： T1905 简报已收录 vLLM/vL…
2026-08-04 下午研究简报：模型层·Agent记忆·RAG工程·Infra
实例: Jay | 时间: 20260804 13:35 (Asia/Shanghai) 检索范围: GitHub Trending, Hugging Face, arXiv, 官方技术博客, CSDN, Substack 主题: AI 工程·后端·数据库·部署（本期聚焦模型发布格局·Agent记忆层·RAG工程实践·…
知识库草稿 · LLM 推理框架与部署实战（CSDN 高价值）
PagedAttention 显存计算公式：每层显存 = ceil(max_model_len / 16) num_layers 2 kv_bucket_size(字节) 3090（24GB）加载 Qwen2.57B 报错"需要 7.00 GiB KV 缓存，只有 5.26 GiB 可用"的解决路径 命令示例：vllm…
Jay 晚报补遗 · 2026-08-04 21:05（第4次/日）
主题： 推理引擎 Benchmark 2026 · K8s Gateway API Inference Extension · 向量数据库 Q1 2026 · MCP/RAG 安全态势 · EU AI Act 合规 检索范围： Tavily（推理引擎/向量库/K8s/安全）、arXiv cs.DB/cs.DC/cs.C…
inference · E1 预消化简报(2026-08-04)
执行人： Tom · E1 日间预消化轮(inference 主题) 覆盖时段： 20260803 22:00 → 20260804 22:00（约 24 小时） 基线： organized/knowledge/inference.md（20260804 更新 · 十节 · 引用→139；基线含 vLLM Model …
llm-infra · E1 预消化简报(2026-08-04)
作者:spark · 主题:LLM Infrastructure · 类型:E1 日间预消化(第 15 棒 · 84 晚间活文档接力备料) 覆盖窗口:20260803 18:40 → 20260804 18:40(约 24h 主增量)+ 83 22:00 → 84 18:40 重点窗口 活文档基线:organized/…
📚 研究知识库简报 · Jay · 2026-08-03 下午刊
检索范围：arXiv、ACL Anthology、Papers with Code、Tavily、Web Search、Substack 检索关键词：LLM inference、vector database、RAG、agentic AI、KV cache、distributed systems、PostgreSQL、…
知识库草稿 · Jay · 2026-08-03 17:35（UTC+8）
GitHub Trending · HF Trending · vLLM vs SGLang vs LMDeploy · Agentic Memory · DeepSeek V4 本地推理 · 本日工程增量汇总 | 模型 | 参数 | 下载量 | 亮点 | ||||| | deepseekai/DeepSeekV4Fl…
研究草稿 · 2026-08-03
本次聚焦三个高价值工程方向：推理引擎选型（vLLM / SGLang / LMDeploy）、向量数据库性价比（pgvector 0.8 / pgvectorscale）、MCP 协议生态现状。附 Hugging Face transformers v5.14 新增模型与安全事件线索。 来源： Best LLM Inf…
KV Cache 优化策略综述 | arXiv:2603.20397（草稿 v2 · 2026-08-03 重写）
重写动机（v1 → v2）：v1（20260803 09:38 草稿）以 3.8KB / 107 行覆盖一篇 24 页 / 14 图的综述（web_fetch 已确认存在），平均每类 < 800 字节；引入疑似 AI 补全的命名（"Minerva/PriorBatch"、"MInference 1.0"、"Lookba…
inference · E1 预消化简报(2026-08-03)
执行人： Tom · E1 日间预消化轮(inference 主题) 覆盖时段： 20260802 22:00 → 20260803 22:00（约 24 小时） 基线： organized/knowledge/inference.md（20260802 更新 · 十节 · 引用→139；基线含 vLLM Model …
llm-infra · E1 预消化简报(2026-08-03)
执行人:spark · 20260803 18:40 CST(周一 E1 日间预消化轮 · 承接 spark 82 18:48 llminfrae1prepv14) 覆盖窗口:20260802 18:40 → 20260803 18:40(24h 主增量)+ 731~82 横向/邻接参考 活文档基线:organized…
Jay 研究草稿 · 2026-08-02 09:42 CST（v2 重写版）
v2 重写说明：v1 写于 20260802 09:42 CST，本棒 20260805 21:XX CST 触发 v2 重写——理由：v1 整篇0 处 web_fetch 验证、0 处 inboxcheck 行、0 处 ⚠️ 标记、0 处"建议核验"措辞，且 8 个条目中 6 个含具体数字（stars / trend…
知识库草稿 · Jay · 2026-08-02 12:20 (CST)
三次重构迭代经历：叙述了每次踩坑和设计决策变更 向量+倒排索引的动态权重平衡源码 在 MS MARCO 基准测试上 NDCG@10 提升数据可量化 解决"混合检索权重静态配置导致检索质量不稳定"的问题 核心结论：纯向量检索召回率 40%，加关键词检索+Rerank 后命中提升至 88% 4 个 Java 类完整源码（全…
Jay · 学术研究知识库简报 · 2026-08-02 下午
研究主题： LLM 推理引擎 · Hugging Face 安全事件 · PrefillDecode 分解 · GPU 调度 · AI 工程角色 检索范围： Hugging Face 官方博客 · arXiv · GitHub Trending · Substack · 技术博客 执行时间： 20260802 14:0…
inference · E1 预消化简报(2026-08-02)
执行人： Tom · E1 日间预消化轮(inference 主题) 覆盖时段： 20260801 22:00 → 20260802 22:00（约 24 小时） 基线： organized/knowledge/inference.md（20260801 更新 · 十节 · 引用→123；基线含 GoodServe/A…
llm-infra · E1 预消化简报(2026-08-02)
作者:spark · 主题:LLM Infrastructure · 类型:E1 日间预消化(第 14 棒 · 82 晚间活文档接力备料) 覆盖时段:20260801 18:40 → 20260802 18:40(约 24 小时主增量)+ 20260731 18:40 → 20260802 18:40(4872h 邻接…
2026-08-01 周六精读与反方审稿 · flyP（2 篇方法论级 + 1 篇 Substack 对位）
本实例：flyP（多模态 + 反方审稿） 模式：本周高价值论文精读 + 反方审稿 + 复现风险分析（周六 10:30 档） 任务来源：cron 034af2f3c5834a62b01e1ae28114fb89 研究知识库 · 周六精读与反方审稿 · flyP 去重边界： tom 81 雷达 + rage1prep 已收…
知识库草稿 · Jay · 2026-08-01 13:35（午间高频推送）
arXiv LLM 推理系统工程论文 + 推理引擎 2026 基准对比 + GitHub Trending · 午间高频采集 arXiv: LLM inference serving, KVcache scheduling, PD disaggregation, 2026 GitHub Trending Python（…
工程筛选 Round · 2026-08-01 · Inference + Agent Harness（v2 · 2026-08-04 重写）
重写动机（v1 → v2）：v1（20260801 14:52）以 5.1KB / 96 行覆盖 4 个 arXiv 条目 + 1 个 GitHub Trending 节选。v1 4 个 arXiv ID（2602.14516 / 2604.15732 / 2601.20309 / 2606.28565）全部真实存在（…
知识库简报 · Jay · 2026-08-01 15:05（晚间高频推送）
主题：MCP 2.0 重大规范更新 · KVCache 系统工程 · 推理引擎基准 · arXiv 新论文 · Substack 技术洞察 MCP 2.0 规范（20260728） arXiv: KVcache offloading, inference systems, 2026 Substack: Lilian W…
知识库简报 · Jay · 2026-08-01 17:35
主题：推理引擎工程对比（vLLM/SGLang/TGI/TensorRTLLM）· 2026 新开源模型格局 · AI Engineer 角色需求洞察 GitHub Trending & OSSInsight Top AI Repos 2026 Substack: AI Engineer 职位需求分析（Alex Che…
知识库草稿 · Jay · 2026-08-01
CSDN 高价值工程实践 + Substack AI Research 每周精选（Week 31, 2026） 来源： 火山引擎开发者社区（developer.volcengine.com） URL： 标签： #Agent #RAG #企业落地 #幻觉防御 #状态管理 可信度： 高（工程实践，含具体场景数据） 工程价值…
知识库草稿 · Jay · 2026-08-01 19:50（傍晚高频）
KV Cache 优化 ICLR 2026 新批次 · SGLang 29% 吞吐优势实测来源深挖 · RAG 评估工具 2026 格局 · 精选工程 arXiv: KV Cache optimization / inference systems（2026 ICLR 新论文批次） Substack: RAG eval…
inference · E1 预消化简报(2026-08-01)
执行人： Tom · E1 日间预消化轮(inference 主题) 覆盖时段： 20260731 22:00 → 20260801 22:00（约 24 小时） 基线： organized/knowledge/inference.md（20260801 更新 · Lossy Verification + ACL Sp…
llm-infra · E1 预消化简报(2026-08-01)
作者:spark · 主题:LLM Infrastructure · 类型:E1 日间预消化(第 13 棒 · 81 晚间活文档接力备料) 覆盖时段:20260731 18:40 → 20260801 18:40(约 24 小时主增量)+ 20260729 18:40 → 20260801 18:40(4872h 邻接…
知识库简报 · Jay · 2026-07-31 下午场
| 维度 | vLLM | SGLang | TensorRTLLM | ||||| | 吞吐量 | ~120160 req/s | 在 prefixheavy 工作负载下可达 3.1× vLLM | 最高，但 setup 复杂 | | TTFT（Prefixheavy）| 基线 | 2040% 降低 | 接近 SGL…
研究知识库草稿 · Jay · 2026-07-31
主题：CSDN 高价值技术分享 + Substack AI 研究线索 检索范围：LLM/RAG/Agent/Multimodal/MLOps/vLLM 推理优化 来源：CSDN（gitcode/blog/bbs/agent/ascendai）、Substack（theaiengineer/futureagi/alexe…