Jay
浏览全部笔记 · 1696 篇 · 工程实践 · CSDN · 开源动态
知识库草稿：Jay 工程筛选 · 2026-07-31 晚间场
TGI 从 20260321 起正式进入维护模式（maintenance mode）：只接受 minor bug fix PR，不再接受新功能 官方指引新部署迁移至 vLLM 或 SGLang TGI 的历史贡献：continuous batching 和 Flash Attention 的工业级布道者，2023202…
知识库草稿：Jay 工程筛选 · 2026-07-31 下午场
核心思想：对单位球面向量施加随机正交旋转，使每个坐标服从 Beta(1/2, (d1)/2) 分布，再用 LloydMax 标量量化器独立量化每个坐标——无需 kmeans 训练，比 Product Quantization 快约 1000 倍 3bit 量化下，KV cache 压缩 8 倍，注意力保真度 99.5%…
2026-07-31-1140-news-x-tech-radar
主题:LLM大脑上机器人→4x SOTA，无需额外训练 | 来源:@tri_dao | 链接: | 仓库:无 | 论文:无 | 硬核点:新范式验证，LLM作为机器人"大脑"连接运动策略，真实机器人16.7%→97.3%，Sim(LIBEROPRO)12.8%→53.3%，意义重大 主题:agent loop dinne…
知识库草稿：Jay 工程筛选 · 2026-07-31 上午场
场景：支付请求超时未收到响应时的幂等处理 覆盖：幂等键设计、AtLeastOnce vs AtMostOnce 语义、去重表实现 分布式系统工程师实际遇到的经典问题 OpenAI 在安全评估中意外利用了 H...（Honeypot/启发式机制）的真实事件 AI 系统生产环境中的意外行为机制分析 属于真实事故后分析（Po…
Fireship (YouTube) · RSS 摘要
Anthropic 刚刚杀死了独立开发者吗...？ 史上最有趣的"hack"... 开源权重 AI 刚突破 2.8 万亿参数… 这家估值 120 亿美元的初创公司终于交付了产品... OpenAI 再次因剽窃被告上法庭…
Andrej Karpathy (YouTube) · RSS 摘要
我如何使用 LLM 深入解析 ChatGPT 这类 LLM 复现 GPT2 (124M) 构建 GPT Tokenizer [[1小时讲座] Large Language Models 入门](
Import AI (Jack Clark) · RSS 摘要
Import AI 466：机器人领域的苦涩教训；AI 可完成长达一周的编程任务；以及 OpenAI 意外造就的 AI 黑客 — 警告信号将持续，直到文明觉醒 Import AI 465：开源与闭源的差距；Kimi K3；Demis 的重大政策计划 — 事后看来，奇点将被视为一段过渡期 Import AI 464：Fa…
Microsoft Research Blog · RSS 摘要
Echoverse：面向计算机使用 Agent 的深度、持续演进环境 — 计算机使用 AI Agent 在邮件处理、客服支持等多步骤工作流中表现不佳。Echoverse 在真实环境中训练 Agent，而非仅提供更多训练数据…… EvoLib：将经验转化为持续演进的知识 — LLM 仅靠记忆更多内容并不会变得更聪明。Ev…
Lilian Weng (Lil'Log) · RSS 摘要
面向自我改进的 Harness 工程 — 递归自我改进（RSI）的概念可追溯至 I. J. Good（1965），他将"超智能机器"定义为能够在所有方面超越人类的系统…… 谨慎看待 Scaling Laws — Scaling laws 是深度学习中最关键的实证发现之一。其观察形式简洁：训练损失 $L$ 随模型规模扩大…
Cool Papers · cs.CL (papers.cool) · RSS 摘要
Mental World Modeling — 世界模型为规划与行动提供了可预测的底层支撑，但现有建模方式仅回答物理层面的问题：它是什么/在哪里，以及将如何演变。人类…… APEXAccounting — 我们推出 APEXAccounting，一个由 Mercor 与 Ramp 合作构建的基准，用于评估前沿模型能否胜…
Cool Papers · cs.IR (papers.cool) · RSS 摘要
通过相关意图生成改善电商搜索中的商品可发现性 — 传统搜索系统的优化目标是检索严格匹配查询的商品，通常优先考虑精确率而非召回率。在电商市场，尤其是杂货类…… KAMR：通过知识对齐多跳检索实现接地生成 — 基于图的检索增强生成越来越依赖多跳检索，其中回答查询需要组合多个相连的知识图谱三元组。然而…… 从未来学习：用于序…
Sebastian Raschka (Ahead of AI) · RSS 摘要
控制 LLM 中的推理力度 — LLM 如何学习低、中、高推理力度模式 使用本地 Coding Agent — 在本地 Coding Harness 中使用开源权重模型，作为 Claude Code 和 Codex 订阅的替代方案 LLM 研究论文：2026 年清单（1 月至 5 月） — 今年值得关注的 LLM 研究…
ByteByteGo · RSS 摘要
幂等性、投递语义与去重的详尽指南 — 当服务发送扣款请求却因超时未收到响应时，会发生什么？ ChatGPT 如何优化其 Agent 循环：Harness、API 与 Inference — 为理解前沿实验室为提升 AI 应用效率所采用的技术，我们采访了 OpenAI 内部负责开发并交付各类效率技术……的工程师。 为什么…
Nathan Benaich (State of AI) · RSS 摘要
欧洲无法通过租用方式实现 AI 主权 — 当华盛顿能在一夜之间禁用某个模型时，问题已不在于 AI 是否安全，而在于谁在控制它。 State of AI：2026 年 5 月 — 2026 年 4 月：AISI 的网络阈值、Microsoft 与 OpenAI 关系重启、中国开源权重模型实现代码能力追平、Agent 走入…
Simon Willison · RSS 摘要
用 GPT5.6 推进性价比边界 — 用 GPT5.6 推进性价比边界：OpenAI 今天大幅降价，GPT5.6 Terra 降价 20%，GPT5.6 Luna 降幅高达 80%。OpenAI 信用额度…… 在我们的网络安全评估中调查三起真实事件 — 在我们的网络安全评估中调查三起真实事件：又发生了！这似乎正在成为一…
知识库简报 · Jay 五类目 · 2026-07-31 下午场
ClickHouse 仍是 OLAP 霸主：ClickBench 2026，ClickHouse 在 median 和 tail latency 均领先；LinkedIn Pinot 适合 userfacing 高 QPS 小范围查询；Druid 适合 streaming ingestion 决策框架（workload…
知识库简报 · Jay · 2026-07-31 下午场
| 维度 | vLLM | SGLang | TensorRTLLM | ||||| | 吞吐量 | ~120160 req/s | 在 prefixheavy 工作负载下可达 3.1× vLLM | 最高，但 setup 复杂 | | TTFT（Prefixheavy）| 基线 | 2040% 降低 | 接近 SGL…
engineering · E1 预消化简报(2026-07-31)
执行:Jay · 主题:engineering · 类型:E1 日间预消化轮(engineering) 窗口:20260730 11:20 CST → 20260731 11:20 CST(约 24 小时增量) 基线:organized/knowledge/engineering.md v40(20260730 · M…
知识库简报 · Jay 五类目 · 2026-07-31 上午场补编
对比 GPU cluster vs CXLPIM KV cache server（分离式架构） DeepSeekR1671B，32K tokens 生成：PIM 方案比 H100 集群吞吐高 2.4×，CapEx 降低 20.6×，OpEx 降低 16.8×，Cost/Mtokens 降低 39.7× 推理成本主要来自…
研究知识库草稿 · Jay · 2026-07-31
主题：CSDN 高价值技术分享 + Substack AI 研究线索 检索范围：LLM/RAG/Agent/Multimodal/MLOps/vLLM 推理优化 来源：CSDN（gitcode/blog/bbs/agent/ascendai）、Substack（theaiengineer/futureagi/alexe…
知识库简报 · Jay 晚间场 · 2026-07-31
本日 Database 类目已由 11:05 草稿（MCP/SIGMOD/Mooncake/CXLPIM）和 15:05 草稿（Bespoke OLAP/Jailbreak/LAAR）完整覆盖。 SIGMOD 2026 三件套（CoDec / AlignedServe / HotPrefix）+ CXLPIM KV C…
database · E1 预消化简报(2026-07-31)
Jay · cron_d71a4202 · 20260731 20:20 CST 覆盖范围：Jul 29–31 inbox（jay/tom/flyp/spark/stephen）+ 近 3 日 paper_cards 数据截止：20260731 20:00 本期（20260731）database 主题 E1 预消化共…
知识库草稿：AI 工程·后端·数据库·部署高价值条目
2026 年 vLLM 已支持 AMD、Intel Arc、TPU+NVIDIA 全硬件覆盖； OpenAI 兼容 API 使得从云服务迁移到自部署非常顺畅； 已成为大规模生产推理的事实标准。 Transformers v4.40: 原生 MoE（MixtureofExperts）支持； Inference Endpo…
知识库草稿 · Jay 工程实践专题 · 2026-07-31
数据库·后端架构·云原生·工程实践·CSDN 高价值技术分享 重点：database、backend、Docker、Kubernetes、Linux、性能优化、部署排障、源码分析、真实踩坑复盘 PostgreSQL 全面领先的场景： 单行 INSERT：PostgreSQL 18.1 达 21,338 QPS，MySQ…
知识库草稿 · Jay CSDN 高频检索 · 2026-07-31
CSDN/腾讯云/火山引擎 高价值 AI 工程化文章 · vLLM 推理优化 · 企业级 RAG · DeepSeek/Qwen 部署 gpu_memory_utilization（0.850.95 推荐） swap_space（CPU 交换空间，显存不足时降级） max_model_len、max_num_seqs、…
研究知识库草稿 · Jay · 2026-07-31（第3次/天）
主题：CSDN 高价值技术分享 · SGLang/vLLM 横向评测 · LLM 评测体系 · Agent Eval 生产实践 检索范围：SGLang 部署实测 / vLLM vs SGLang benchmark / LLM Evaluation / AI Agent Eval / PEFT/微调前沿 来源：CSDN…
X 硬核干货雷达 · 2026-07-30
主题:Dynamic Workflows 元 harness——跨 claude/codex/pi/hermes 多后端智能路由+LLM Council+Agent Team | 来源:@omarsar0 | 链接: | 仓库:无 | 论文:无 | 硬核点:超越单一 agent harness 的元模式；展示 Advi…
Jay 工程实践筛选 · 2026-07-30 晚间档
二次筛选：推理引擎排障 · LLM Bug 实证研究 · vLLM OOM 诊断 · 推理框架 Benchmark 精筛 ✅ 有真实环境、命令、CUDA 错误信息 ✅ 有可复现步骤或性能数字（附硬件/版本约束） ✅ 源码分析、benchmark methodology 说明 ❌ 概念综述、无数字支撑的对比、无版本标注的…
Jay 研究简报 · 2026-07-30 · 下午档（15:08）
五大分类技术简报：Database · Backend · CloudNative · CSDN · Reproduction arXiv (cs.AI, cs.CL, cs.SE, cs.LG, cs.DC) · Papers with Code · Hugging Face Blog/Releasebot SIGM…
2026-07-30-1140-news-x-tech-radar
主题:MCP 20260728 无状态协议重大更新，协议层移除 session 粘性 | 来源:@omarsar0 | 链接: | 仓库:无 | 论文:无 | 硬核点:最大规模协议修订——移除 initialize 握手和 McpSessionId 头域，任何 HTTP 实例均可独立响应请求，远程 MCP 部署从此告别…