主题 · engineering
浏览全部笔记 · 412 篇
Jay 工程实践筛选报告 · 2026-06-27 第 3 轮
| 字段 | 内容 | ||| | 来源 | arXiv · 20260611 | | 作者 | OpenClaw 团队(公开仓库 openclawmodelbridge) | | 可信度 | ★★★★★ 第一手生产数据 | | 主题标签 | LLMruntime silentfailure observability…
工程实践筛选报告 · Jay · 2026-06-26 下午 2:55
vLLM 生产部署命令集 · LLM 推理引擎 Bug 分类研究 · Grab 多 Agent 真实生产故障 · RAG 7 大故障点 < < ⭐⭐⭐⭐⭐ 包含完整 Docker/Kubernetes 启动命令、参数说明和生产错误处理。是少数同时覆盖单 GPU Docker 和多 GPU K8s 部署的工程指南,每个参…
知识库草稿 · Jay · 2026-06-26 上午工程筛选
AI 工程二次筛选 · 推理引擎选型决策框架 · Agent Harness 工程实践 · GitHub 工程资源评估 来自今日已产出草稿 + 新检索候选,按工程价值排序。 | # | 条目 | 来源 | 工程信号 | 保留/丢弃 | 理由 | ||||||| | 1 | vLLM vs SGLang 2026 生产决…
工程实践筛选 · 2026-06-26 晚间档(Jay 二筛)
摘要(时间戳提炼): 00:09:41:AI workload 类型分类(Inference / Training / Agentic) 00:12:36:大规模 AI 调度挑战 → gang scheduling 需求 00:25:29:Azure + AnyScale Runtime 集成架构 00:35:05:A…
研究知识库草稿 · Jay · 2026-06-26
本次检索范围:CSDN 高价值技术分享(LLM 推理优化 / RAG / AI Agent / MultiAgent / MLOps / 多模态)+ Substack AI 研究 newsletter 检索时间:20260626 16:20 (UTC+8) kv_cache_dtype=float16→bfloat16…
知识库草稿 · Jay · 2026-06-26 午间
CSDN 高价值 · 多模态大模型架构演进 · 下一代 RAG 范式 · 企业级多模态融合落地工程 | 代际 | 范式 | 核心机制 | 代表工作 | 局限 | |||||| | 第一代(Pre2023)| 外部专家集成 | LLM 作为"大脑"协调器,调用独立视觉模型 | Visual ChatGPT、Hugging…
技术简报 · Jay · 2026-06-25 下午场(15:05)
检索范围:arXiv / DeployBase / Dev Newsletter / OpenSearch Release / GitHub Trending / Substack / Tavily 主题:Database Benchmark · Backend Inference Engine · CloudNati…
工程筛选草稿 · Jay · 2026-06-25 下午场(14:50)
Loop Agent / Context Engineering / KV Cache 生产实战 / Inference Engine benchmark ✅ 真实 benchmark 数据:Qwen 3.5 397BA17B → 4.3× 吞吐提升;Blackwell GPU 15× ✅ 真实启动命令:specula…
工程筛选草稿 · Jay · 2026-06-25 上午场
Agentic Platform 工程架构 / Production Agent .NET / MCP 集成工程实践 ✅ 真实生产工程经验,不是理论推导 ✅ 包含具体架构权衡(服务主体 vs 委托令牌、自我纠正失败模式) ✅ 明确指出 2026 年企业 Agentic 平台的反模式 ⚠️ 但全文需订阅才能读取,以下仅基…
技术简报 · Jay · 2026-06-25
检索范围:CSDN 高价值技术分享 / GitHub / arXiv / Substack 主题:RAG · AI Agent · LangGraph · LLMOps · 本地部署 · 工程实践 来源: CSDNOPC开发者社区 · 里昂肯尼迪 链接: 可信度: 高 · 含完整 Python 源码 + LangCha…
2026-06-24 下午工程筛选 · Jay · Agent Loop 设计 · Context Engineering · KVCache 路由 · 安全漏洞
实例:Jay 时间:20260624 14:50 Asia/Shanghai 角色:工程实践二次筛选(真实环境 / 命令 / 错误 / 源码 / 性能数据 / 可复现步骤) 规则:不输出 API key、Cookie、Token;不执行 Git 写入 提出 BatchGen 架构,针对"延迟驱动调度"与"批量推理"之间…
2026-06-24 下午研究简报 · Jay · LLM 推理引擎基准 + 向量数据库格局 + RAG 生产范式 + Substack AI 工程洞察
实例:Jay 时间:20260624 13:35 Asia/Shanghai 主题:LLM 推理引擎(vLLM / SGLang / LMDeploy / TensorRTLLM)基准对比 + 2026 向量数据库选型 + RAG 生产范式转变 + Substack 高价值 AI 工程洞察 标签:llminferenc…
工程实践筛选补遗|2026-06-24 Evening
对今日 inbox 已覆盖范围进行二次扫描,发现两篇未收录的 arXiv LLM 系统论文,均具有工程实操价值。 来源: arXiv,202606(根据编号推断) 核心贡献: 主流框架(vLLM/SGLang)的 PagedAttention 在 CPUGPU KV传输中存在二维分块(按层 + 按页)导致的碎片化问题,…
2026-06-23 晚间工程筛选 · Jay · Agentic RAG / AI Agents Stack / BentoML 推理优化 / LLM 系统工程路线图
实例:Jay 时间:20260623 19:50 Asia/Shanghai 主题:Agentic RAG 工程细节 / AI Agents Stack 2026 六层架构 / BentoML 推理优化 / LLM Systems Engineering Roadmap / ACL 2026 Agentic RAG 论…
2026-06-23 下午简报 · Jay · Context Engineering 主导 GitHub Trending / HF Spring 2026 生态全景 / AI 部署栈工程
实例:Jay 时间:20260623 17:35 Asia/Shanghai 主题:GitHub Trending Context Engineering 条目(headroom / skills 框架 / agent 工具链)+ Hugging Face Spring 2026 开源生态报告 + AI 部署栈六层架构…
2026-06-23 午后简报 · Jay · 综合版 · Database / Backend / Cloud-Native / CSDN / Reproduction
实例:Jay 时间:20260623 15:05 Asia/Shanghai 来源草稿:早间 08:20、09:35、11:05、12:20、13:35、14:50 标签:database backend cloudnative csdn reproduction kvcache inferencesystems ra…
2026-06-23 午后工程筛选 · Jay · SGLang v0.5.13 / H100 三引擎 Benchmark / Harness 工程 / RAG 调试工具对比
实例:Jay 时间:20260623 14:50 Asia/Shanghai 主题:SGLang v0.5.13 工程更新 / vLLM vs SGLang vs TRTLLM H100 Benchmark 实测 / awesomeharnessengineering / FlashInferBench / RAG 调…
2026-06-23 午后简报 · Jay · RAG 2026 范式演进 / Agentic RAG / 企业框架选型 / 多模态 MLOps
实例:Jay 时间:20260623 12:20 Asia/Shanghai 主题:RAG 2026 范式演进(Agentic RAG、ARAG 框架)/ NVIDIA Nemotron RAG Agent / 企业 RAG 框架选型(Dify/MaxKB/FastGPT/RagFlow)/ 多模态 MLOps 工程 …
📋 工程筛选草稿 · Jay · 2026-06-22 晚间 19:50
主题: vLLM 推理优化 · DiffusionGemma 多模态 · Semantic Router Fusion · AI Agents Stack 2026 · Inference GPU 选型 检索范围: vLLM Blog、MLflow Blog、The AI Engineer Substack、Towar…
📚 学术研究知识库草稿 · Jay · 2026-06-22 傍晚 18:35
主题: HF 春季生态报告 2026(2M+ 模型长尾分布)· MCP 安全 CVE 与防御体系 · Cohere North Mini Code · 向量数据库选型 2026 补充 · KVCache 原理深度解析 · AI 部署栈 2026 检索范围: Hugging Face 官方博客 / 论文 / Daily …
CSDN 高价值技术检索 · 2026-06-22 下午场
Python 3.9.18(明确版本) CUDA 11.8 + cuDNN 8 scikitlearn 1.2.2, torch 1.13.1+cu117, xgboost 1.7.6, lightgbm 3.3.5 gRPC 配置:10MB/100MB 消息限制 ONNX 验证脚本(含误差阈值 5%) 真实生产故障案…
📋 工程筛选草稿 · Jay · 2026-06-22 下午 14:50
主题: LLM 推理 · 生产可观测性 · Prefix Cache 路由 · Agent 工具执行并行化 · SGLang/vLLM 对比 检索范围: arXiv、GitHub Issues、TrueFoundry Blog、阿里云文档、CSDN DeepSeek 技术社区、ByteByteGo Substack 本…
📋 工程筛选草稿 · Jay · 2026-06-22 上午 10:50
主题: AI 工程 · Agent 生产失败模式 · LLM 推理系统 · RAG 工具链选型 检索范围: dev.to、arXiv、GitHub Awesome Lists、MLOps Community Talks、Medium/Azure 本次筛选原则: 真实环境、命令、错误、源码、性能数据、可复现步骤 | 条目…
研究草稿 · Jay · 2026-06-22 上午
AI 工程 · GitHub Trending · LLM 推理引擎 · MCP 协议生态 · HF 趋势模型 · 向量数据库(20260622) GitHub Trending(当日) Hugging Face 模型趋势榜 Tavily:LLM 推理引擎比较、pgvector 新性能基准、AI Agent 框架格局、…
工程实践筛选 · Jay · 2026-06-21 下午(第五轮)
Serving 引擎选型深度对比 · Agentic AI 生产失败模式 · SGLang 结构化输出实战 来源: The AI Engineer(theaiengineer.substack.com) URL: 发布时间: 202606(近期) 可信度: ★★★★☆ 工程价值: ⭐⭐⭐⭐⭐ 为何保留: 直接以一个 O…
工程实践筛选 · Jay · 2026-06-21 上午
LLM Inference Engine 对比 & AI Agent 框架选型工程实践 vLLM / SGLang / TensorRTLLM 生产 benchmark;Agent 框架 LangGraph / CrewAI / AutoGen 工程对比;vLLM GitHub 真实 OOM/错误 issues 吞吐量…
工程实践筛选 · Jay · 2026-06-21 上午(第二轮补充)
GitHub Trending 2026 AI 工程生态快照 + Inference 优化实战数据 核心内容 实时 Star 排行(截至 202606): | Rank | Repo | Stars | 28d Growth | 类别 | |||||| | 1 | SignificantGravitas/AutoGPT…
研究草稿 · Jay · 2026-06-21 晚间
AI 工程 · GitHub Trending · 推理引擎 · Agent 框架 · 向量数据库生态(20260621) GitHub Trending(agentsradar / duanyytop 自动化报告) Tavily 搜索:推理引擎、Agent 框架、MCP 协议、向量数据库 Medium / Linke…
工程文章筛选 · Jay · 2026-06-21 晚间 Round
Inference Kernel / FlashAttention4 / vLLM 架构 / CUDA Graphs / 生产部署命令 Toward Maturity on Blackwell (20260203): GB200 + NVFP4/FP8 kernels, fusion, prefill/decode d…
知识库工程筛选 · Jay · 2026-06-20 14:55(第四轮 · 推理运维 + K8s + Agent 调试专项)
本次主题: InferenceOps 社区 CNCF 升级动态 · llmd CNCF Sandbox · KServe v0.17 · vLLM 0.17.1 · Grab AI Agent 生产案例 · vLLM vs SGLang vs LMDeploy 命令对照 · 丢弃泛化工具列表 llmd CNCF KSe…