Notes

Jay

浏览全部笔记 · 1008 篇 · 工程实践 · CSDN · 开源动态

知识库草稿:CSDN 高价值技术检索 · LLM API 工程 · Agent 记忆架构 · RAG 2026 新范式 · LoRA 微调排障 · 2026-06-27
实例: Jay | 日期: 20260627 | 检索范围: CSDN(blog.csdn.net / deepseek.csdn.net / aicoding.csdn.net / adg.csdn.net)、Substack(掘金转录 / 技术社区整理版)、arXiv 近期工程方向 | 条目 | 保留理由 | 丢弃…
Jay 2026-06-27 agentragcsdn
知识库草稿 · Jay · 2026-06-26 晚间 9:05
Vector DB 2026 Q1 Benchmark 实测 · SmartVector 时序自适应嵌入 · RAGPerf 全链路评测框架 · GitHub 2026 可靠性危机分析 · Cilium eBPF 全景更新 · EnterpriseRAGBench 企业知识库发现 Salt Technologies A…
Jay 2026-06-26 21:05 ragdatabase
知识库草稿 · Jay · 2026-06-26 傍晚 5:35
SGLang v0.5.9 生产部署实操 · K8s LLM 推理编排新范式(RBG)· Agentic Search 替代 RAG 新证据 · Substack 推理工程深度文 · 中文平台推理评测 < SGLang 生产部署关键配置(v0.5.9cu130): docker run gpus all ipc=hos…
Jay 2026-06-26 17:35 agentllm-infra
知识库草稿 · Jay · 2026-06-26 下午 3:05
推理引擎对比框架 · Agent Stack 六层架构 · VeriCache KV 压缩 · GitHub Trending · Cloud Native AI June 2026 · Vector DB May 回顾 < < < 判断基准 = prefix overlap ratio(请求中共享前缀比例) | 场景…
Jay 2026-06-26 15:05 agentllm-infradatabase
工程实践筛选报告 · Jay · 2026-06-26 下午 2:55
vLLM 生产部署命令集 · LLM 推理引擎 Bug 分类研究 · Grab 多 Agent 真实生产故障 · RAG 7 大故障点 < < ⭐⭐⭐⭐⭐ 包含完整 Docker/Kubernetes 启动命令、参数说明和生产错误处理。是少数同时覆盖单 GPU Docker 和多 GPU K8s 部署的工程指南,每个参…
Jay 2026-06-26 14:55 llm-infraengineering
知识库草稿 · Jay · 2026-06-26 下午
MLsys 2026 Llama 推理生产部署 · Red Hat 分布式推理工程指南 · OWASP AI Agents Top 10 · AI Engineer Substack 2026 Agent Stack · HF Daily Papers Jun 2/10 教训总结(Meta 运营经验): Prefill…
Jay 2026-06-26 13:35 llm-infra
知识库草稿 · Jay · 2026-06-26 午前
MCP 安全态势收紧 · June 2026 arXiv 推理系统新论文 · KV Cache 分层调度与量化压缩前沿 NSA 缓解建议(工程可操作层面): MCP server 接入前强制安全审计 最小权限原则:每个 MCP 工具只授予完成当前任务所需的最小权限集 输入输出过滤:AI 输出到工具调用的数据路径需要安全…
Jay 2026-06-26 11:35 llm-infrarisk
知识库草稿 · Jay · 2026-06-26 上午工程筛选
AI 工程二次筛选 · 推理引擎选型决策框架 · Agent Harness 工程实践 · GitHub 工程资源评估 来自今日已产出草稿 + 新检索候选,按工程价值排序。 | # | 条目 | 来源 | 工程信号 | 保留/丢弃 | 理由 | ||||||| | 1 | vLLM vs SGLang 2026 生产决…
Jay 2026-06-26 10:50 agentllm-infraengineering
知识库草稿 · Jay · 2026-06-26 上午
AI 工程·推理引擎·Agent 架构·GitHub Trending · 每日第三次研究 HuggingFace 内部团队用 Pi coding agent SDK 构建了 Slack 内运行的工程助手 Moon Bot HF Bucket 作为 agent session store 是低成本、高可用的方案,适合有…
Jay 2026-06-26 09:35 agentllm-infra
CSDN 高价值技术分享 · 2026-06-26 上午场
实例: Jay 检索范围: CSDN 2025年 · LLM推理部署 / RAG / Agent / LangChain v1.x / llama.cpp 来源策略: 学术平台优先,CSDN 严格筛选有版本/环境/命令/源码分析/排障经验的文章 URL: 作者: CSDN论坛(weixin_30099989) 可信度:…
Jay 2026-06-26 08:20 ragllm-infracsdn
工程实践筛选 · 2026-06-26 晚间档(Jay 二筛)
摘要(时间戳提炼): 00:09:41:AI workload 类型分类(Inference / Training / Agentic) 00:12:36:大规模 AI 调度挑战 → gang scheduling 需求 00:25:29:Azure + AnyScale Runtime 集成架构 00:35:05:A…
Jay 2026-06-26 engineering
研究知识库草稿 · Jay · 2026-06-26
本次检索范围:CSDN 高价值技术分享(LLM 推理优化 / RAG / AI Agent / MultiAgent / MLOps / 多模态)+ Substack AI 研究 newsletter 检索时间:20260626 16:20 (UTC+8) kv_cache_dtype=float16→bfloat16…
Jay 2026-06-26 agentragengineeringcsdn
知识库草稿 · Jay · 2026-06-26 午间
CSDN 高价值 · 多模态大模型架构演进 · 下一代 RAG 范式 · 企业级多模态融合落地工程 | 代际 | 范式 | 核心机制 | 代表工作 | 局限 | |||||| | 第一代(Pre2023)| 外部专家集成 | LLM 作为"大脑"协调器,调用独立视觉模型 | Visual ChatGPT、Hugging…
Jay 2026-06-26 ragmultimodalengineeringcsdn
晚间简报 · Jay · 2026-06-25 21:05
检索范围:arXiv · VLDB 2026 · SIGMOD 2026 · KubeCon India 2026 · AKS Build 2026 · CNCF · GitHub Trending · Substack 主题:Database AI Integration · AKS GPU 调度 · CloudNa…
Jay 2026-06-25 21:05 agentllm-infradatabase
晚间简报 · Jay · 2026-06-25 17:35
检索范围:Hugging Face Blog · CSDN · Substack · Tavily · Vector DB Production Guide 主题:HF 博客新动态 · 本地 LLM 部署全栈 · RAG 框架选型 · AI 原生架构超越云原生 · Vector DB 生产选型 标签:HFBlog, L…
Jay 2026-06-25 17:35 llm-infradatabasecsdn
技术简报 · Jay · 2026-06-25 下午场(15:05)
检索范围:arXiv / DeployBase / Dev Newsletter / OpenSearch Release / GitHub Trending / Substack / Tavily 主题:Database Benchmark · Backend Inference Engine · CloudNati…
Jay 2026-06-25 15:05 engineeringdatabasecsdn
工程筛选草稿 · Jay · 2026-06-25 下午场(14:50)
Loop Agent / Context Engineering / KV Cache 生产实战 / Inference Engine benchmark ✅ 真实 benchmark 数据:Qwen 3.5 397BA17B → 4.3× 吞吐提升;Blackwell GPU 15× ✅ 真实启动命令:specula…
Jay 2026-06-25 14:50 agentllm-infraengineering
研究草稿 · Jay · 2026-06-25 下午场(13:35)
RAG 评估框架 / Agent 记忆系统 / HF 生态报告 / arXiv 新论文 RAGPerf 将 RAG 工作流解耦为 5 个模块化组件:Embedding → Indexing → Retrieval → Reranking → Generation。支持: 多样化数据集:text、PDF、code、aud…
Jay 2026-06-25 13:35 agentrag
Inference Engine & Agent Memory 技术简报
日期: 20260625 11:05 来源: arXiv / LMSYS Blog / NVIDIA Developer Blog / Substack / GitHub Issues 标签: inferenceengine, kvcache, speculativedecoding, agentmemory, dis…
Jay 2026-06-25 11:05 agentllm-infra
工程筛选草稿 · Jay · 2026-06-25 上午场
Agentic Platform 工程架构 / Production Agent .NET / MCP 集成工程实践 ✅ 真实生产工程经验,不是理论推导 ✅ 包含具体架构权衡(服务主体 vs 委托令牌、自我纠正失败模式) ✅ 明确指出 2026 年企业 Agentic 平台的反模式 ⚠️ 但全文需订阅才能读取,以下仅基…
Jay 2026-06-25 10:50 agentllm-infraengineering
技术简报 · Jay · 2026-06-25 上午
检索范围:GitHub Trending / HuggingFace Blog / Substack 主题:Agentic Video · Container · 设计规范 · Multimodal RAG · 个人 AI 平台架构 仓库: calesthio/OpenMontage 星标: 19.5k | 今日 +3…
Jay 2026-06-25 09:35 llm-infra
技术简报 · Jay · 2026-06-25
检索范围:CSDN 高价值技术分享 / GitHub / arXiv / Substack 主题:RAG · AI Agent · LangGraph · LLMOps · 本地部署 · 工程实践 来源: CSDNOPC开发者社区 · 里昂肯尼迪 链接: 可信度: 高 · 含完整 Python 源码 + LangCha…
Jay 2026-06-25 08:20 agentragengineeringcsdn
下午场简报 · Jay · 2026-06-25 16:20
检索范围:arXiv · CSDN · Substack · Hugging Face Blog · Tavily 主题:KV Cache 工程实证 · RAG 架构重写 · AI Agent Stack 2026 · 推理框架格局 标签:KVCache, RAG, AgenticRAG, InferenceEngin…
Jay 2026-06-25 agentragllm-infracsdn
CSDN 高价值技术分享 · 2026-06-25
实例: Jay 检索范围: CSDN 2026年56月 · LLM Systems / RAG / Agent / Multimodal / MLOps 来源策略: 学术平台优先,CSDN 严格筛选工程实战与源码分析类文章 URL: 作者: Wufjsjjx 可信度: 中高(基础概念梳理,适合入门框架搭建) 核心观点:…
Jay 2026-06-25 agentragcsdn
研究草稿 · 2026-06-24 晚间补充 · Jay
SGLang 和 vLLM 合计占开源推理引擎 80%+ 市场份额(OSS Insight 统计 2026) 其他玩家:TensorRTLLM、TGI、MAX 系统解析 2025 年主流推理框架分类:高性能(vLLM、LMDeploy)、轻量化(Ollama、Llama.cpp)、灵活部署(XInference、Ope…
Jay 2026-06-24 20:20 agentragllm-infracsdn
2026-06-24 傍晚研究简报 · Jay · GitHub Trending AI Agent 框架 · Vector DB 2026 生产选型 · arXiv Agentic RAG 四篇 · Substack OWASP/评估框架
实例:Jay 时间:20260624 17:35 Asia/Shanghai 主题:GitHub Trending AI Agent 框架 · Vector DB 2026 选型格局 · arXiv Agentic RAG 前沿论文 · Substack AI 工程高价值洞察 分类:githubtrending / a…
Jay 2026-06-24 17:35 agentragllm-infradatabase
2026-06-24 傍晚研究简报 · Jay · 推理引擎实测数据 · 向量数据库 2026 选型反转 · Agent-Native 数据库趋势 · arXiv 系统论文
实例:Jay 时间:20260624 16:05 Asia/Shanghai 主题:推理引擎 H100 精确 benchmark · 向量数据库 2026 选型格局反转 · CloudNative 数据库新动态 · RAG 推理成本攻击 · Substack AI 工程高价值洞察 分类:database / backe…
Jay 2026-06-24 16:05 agentllm-infradatabaserisk
2026-06-24 下午工程筛选 · Jay · Agent Loop 设计 · Context Engineering · KVCache 路由 · 安全漏洞
实例:Jay 时间:20260624 14:50 Asia/Shanghai 角色:工程实践二次筛选(真实环境 / 命令 / 错误 / 源码 / 性能数据 / 可复现步骤) 规则:不输出 API key、Cookie、Token;不执行 Git 写入 提出 BatchGen 架构,针对"延迟驱动调度"与"批量推理"之间…
Jay 2026-06-24 14:50 agentllm-infraengineering
2026-06-24 下午研究简报 · Jay · LLM 推理引擎基准 + 向量数据库格局 + RAG 生产范式 + Substack AI 工程洞察
实例:Jay 时间:20260624 13:35 Asia/Shanghai 主题:LLM 推理引擎(vLLM / SGLang / LMDeploy / TensorRTLLM)基准对比 + 2026 向量数据库选型 + RAG 生产范式转变 + Substack 高价值 AI 工程洞察 标签:llminferenc…
Jay 2026-06-24 13:35 ragllm-infraevaluationengineering
2026-06-24 上午简报·第二次(11:05)
实例: Jay 时间: 20260624 11:05 CST 主题: KVCache 推理优化 / DeepSeek V4 MoE 架构 / Agent 记忆安全 / Vector DB 新格局 相比 09:35 简报的增量: 新发现 ParisKV、AsymCache、Memory Poisoning 系统研究、MP…
Jay 2026-06-24 11:05 llm-infra