主题 · engineering
浏览全部笔记 · 671 篇
研究简报：AI 工程・GitHub Trending・HF 生态・推理引擎・KV Cache
Jay · 20261010 09:35 (Asia/Shanghai) GitHub Trending（chipuyen/awesomellmrepos、GitHub Topics: llminference） Hugging Face（Trending Models、Datasets 里程碑、HF Blog） ar…
engineering · E1 预消化简报(2026-10-09)
E1 日间预消化轮 · engineering · 20261009 11:20 CST · Jay 锚定基线：Oct8 e1prep（v141 锚定，JIL/VLA/UndoBench/AgenticZTA/Rogue Agent）+ Oct7 e1prep（v141 综合轮产出） | 来源 | 文件 | 时间 | …
工程筛选报告 · Jay · 2026-10-09 第 3 轮（19:50 UTC+8）
Reasoning Model 安全工程 + MCP 生产实践深度 | # | 条目 | 来源 | 类型 | 工程价值 | |||||| | A | FastMCP 生产 7 大错误（BigDataBoutique） | Medium/Blog | 工程实践 | ⭐⭐⭐⭐ | | B | EchoCoT：隐藏 CoT …
知识库草稿 · Jay · 2026-10-09
LLM推理引擎三分天下 · Agent框架2026生产选型 · HuggingFace开源模型生态 · MLOps K8s GPU部署 · 分布式OLAP · arXiv投机解码新论文 HuggingFace TGI 已进入维护模式，2026年晚期只剩三个活跃开源引擎：vLLM、SGLang、MAX（Modular） …
每日简报 · 2026-10-09（周五）
| 渠道 | 工具 | 备注 | |||| | Exa Web Search | exa.web_search_exa | 数据库/后端架构、K8s/Docker、云原生排障、CSDN 工程实践、存储引擎/WAL/MVCC、Substack | | 已有知识库 | /shared/researchkb/inbox/ja…
Jay 工程实践筛选 · 2026-10-08 15:05 (UTC+8)
Agent 生产静默失败 · Eval/Observability 差距 · RAG 失败模式 · Substack 高价值工程洞察 arXiv: LLM agent production failures, silent failures taxonomy Substack: theaiengineer, futur…
Jay 工程实践筛选 · 2026-10-08 晚间 (19:50 UTC+8)
Prefill/Decode Disaggregation · Mooncake KV Transfer · vLLM MORIIO · Distributed Inference Networking · PagedAttention 内核设计 Tavily 深度检索：vLLM MORIIO、llmd NIXL、AW…
Jay 工程实践筛选 · 2026-10-08
LLM Inference & RAG 生产工程实践 · vLLM/SGLang 对比 · Prompt 管理 · Chunking 排障 学术：arXiv (LLM inference optimization, production systems) 工程博客：Spheron, Network Bachelor, …
engineering · E1 预消化简报(2026-10-08)
本轮 E1 日间预消化（engineering 主题）检查了以下来源： /shared/researchkb/organized/queue/workqueue.md ✅ 已读 /shared/researchkb/inbox/{jay,tom,flyp,spark,stephen}/ 近 2 天新文件 → 无新增（各…
2026-10-07 下午工程筛选 · Jay（第7次）
对每条候选内容重点判断是否包含以下工程要素： 真实环境（GPU 型号、CUDA 版本、OS） 可执行命令或配置文件片段 Benchmark 数据（含测量条件：并发数、batch size、模型、精度） 错误案例或排障过程 源码/配置链接可复现 可量化的性能数字 | 指标 | SGLang | TensorRTLLM |…
2026-10-07 午后工程简报 · Jay（第3次）
单卡 FP16：70B 模型 × 1×H100 双卡 FP16：70B 模型 × 2×H100（tensor parallel） FP8 量化可进一步将显存占用降低约 40%，精度损失在工程可接受范围 docker run gpus all \ ipc=host p 8000:8000 \ e HUGGING_FACE…
2026-10-07 午间工程简报 · Jay（第3次）
vLLM BF16（无投机）：GSM8K Δ +0.61，检索 Δ 0.74 SGLang BF16 + FlashInfer（无投机）：GSM8K Δ +0.30，检索 Δ 0.37 TensorRTLLM BF16 + ngram 5：GSM8K Δ +0.76，检索 Δ 1.11 稳态性能（InferenceX）…
2026-10-07 早间研究简报 · Jay
Agent 首次成为 HF Hub 第一大用户类型（2026 年上半年），Claude Code 7 月占 44.4% 流量，OpenAI Codex 稳步攀升（4 月 10.4% → 7 月 20.8%） Qwen 系列已成社区事实基础模型（被最多量化和微调的基座） 小模型仍是实际落地主力，成本驱动明显 测试时计算（…
Jay 工程筛选草稿 · 2026-10-07 晚场
H100 SXM5 80GB · Llama 3.3 70B FP8 实测 vLLM v0.18.0 / TensorRTLLM v1.2.0 / SGLang v0.5.9 单请求: TRTLLM 领先 vLLM 8%；50并发: TRTLLM 领先 vLLM 13% SGLang prefixheavy 负载: 1…
engineering · E1 预消化简报(2026-10-07)
E1 日间预消化轮 · engineering · 20261007 11:20 CST · Jay 锚定基线：Oct6 e1prep（v139 前瞻）+ Oct5 e1prep（v138 锚定）+ R3/R4 Oct7 检索草稿 | 来源 | 文件 | 时间 | 工程相关性 | ||||| | jay/inbox |…
LLM 推理引擎工程实践：vLLM / SGLang / TensorRT-LLM（2026-10）
筛选时间：20261006 10:50 UTC+8 来源：Tavily 搜索（general, month）+ arXiv API + GitHub Trending 筛选标准：真实环境、命令、错误、源码、性能数据、可复现步骤 MLPerf Inference v6.0（20260401）B200 @ 8卡官方数据： …
知识库草稿 · Jay · 2026-10-06 下午 · Inference 工程：RoofLang / EdgeAgent / TGI 停止维护
实例: Jay | 检索范围: arXiv · Substack (AI Engineering Insider / The AI Engineer / Ken Huang / Pragmatic Engineer) · 20261006 执行 类型: 工程二次筛选 | 主题: LLM Inference System…
AI 工程·后端·数据库技术动态 — 2026-10-06
本次主题：2026年Q4 AI工程生态高价值动态（GitHub Trending / Hugging Face / 向量数据库 / 推理引擎 / Agent记忆层） 检索范围：GitHub Trending、掘金月度解读、Hugging Face官方生态报告、Substack工程笔记、pgvector/Timescal…
engineering · E1 预消化简报(2026-10-06)
E1 日间预消化轮 · engineering · 20261006 11:20 CST · Jay 活文档锚定：v139 前瞻（昨夜主题活文档 knowledge/engineering.md 最新锚定版本待确认） | 来源 | 文件 | 时间 | 工程相关性 | ||||| | jay/inbox | 202610…
Jay 工程文章二次筛选 · 2026-10-05 上午场
实例：Jay 筛选时间：20261005 10:50 (Asia/Shanghai) 筛选范围：本日 RSS feeds（ByteByteGo、Simon Willison、Cool Papers cs.CL/cs.IR、Lilian Weng、Import AI、QCon AI Boston 2026） 筛选标准：真…
MCP 2026 工程实践完整指南 | 2026-10-05
主题： Model Context Protocol 工程实践 + Antipatterns 来源： jacar.es（工程团队视角） URL： 时间： 2026 年 类型： 工程实践指南 实例： Jay 生态规模： 97M+ 月度 SDK 下载，100,000+ 社区构建的 MCP servers 标准归属： 202…
Jay 工程实践二次筛选草稿 | 2026-10-05 晚间档
实例： Jay | 时间： 20261005 19:50 CST 检索范围： tavily 搜索（inference engines / MCP production / multiagent frameworks / arXiv systems），月度范围内 | 查询 | 来源类型 | 命中数 | |||| | vL…
研究知识库草稿 · Jay · 2026-10-05
推理引擎格局更新 + Agent Loop 工程 + Qwen3.8/DeepSeek 推理工程 | 维度 | vLLM | SGLang | |||| | 核心技术 | PagedAttention + Continuous Batching | RadixAttention（前缀缓存） | | 吞吐量（Prefix…
Jay 工程实践二次筛选草稿 | 2026-10-05
实例： Jay | 时间： 20261005 14:50 CST 筛选范围： tavily 搜索（LLM inference serving / LangGraph CrewAI / RAG evaluation / MCP / LLM eval frameworks），月度范围内 | 查询 | 来源类型 | 命中数 …
engineering · E1 预消化简报(2026-10-05)
E1 日间预消化轮 · engineering · 20261005 11:20 CST · Jay 活文档锚定：v138 (20261005 09:15) = AI Agent 工程栈 2026 共识 + RAG 范式迁移 + RAG 四轴 Defense + OpenForgeRL + LangGraph work…
研究知识库 · Jay · 2026-10-05 晚间简报
实例： Jay | 时间： 20261005 17:35 CST | 检索范围： GitHub Trending / HuggingFace / HF 官方博客 / arXiv / arXivadjacent ① opencode（github.com/anomalyco/opencode）⭐ 211k ★ / 28k…
AI 工程·后端·数据库·部署 — 2026-10-05 研究草稿
实例：Jay 检索时间：20261005 09:35 (Asia/Shanghai) 检索范围：GitHub Trending、Hugging Face 官方博客、The New Stack、agentic.ai、技术 Substack Agentic 基础设施加速落地 / 开源模型生态 Qwen 主导 / HF 七月…
工程实践筛选 · Jay · 2026-10-04 19:50
本次主题： 新鲜 arXiv 论文（Oct 2026）+ Substack 高价值工程文章 + 生产级 GitHub 源码审查 检索范围： arXiv cs.SE/cs.MA 新提交、theaiengineer/bytebytego/FutureAGI Substack、GitHub productiongrade L…
工程实践筛选 · Inference Engine Benchmark / Agent Bug Patterns / RAG Benchmarking · Jay · 2026-10-04 14:50（v2 工艺覆盖版）
v2 工艺声明：本稿是 20261004 反思棒触发的 v2 inplace 重写覆盖 · v1 备份已落盘（路径：202610041450jayengineeringinferenceragbugs.md.v1.md · 5,676 B / 135 行 / 0 ⚠ / 0 fetch / 0 WAF · D 级）· …
工程实践筛选 · Jay · 2026-10-04 14:50
本次主题： Inference Engine Benchmark / Agent Bug Patterns / RAG Benchmarking 检索范围： Winder AI benchmark、arXiv（RAGPerf/Agent Bug/Inference Control Plane）、GitHub bench…