envoyproxy/aigateway 是 Envoy 生态下的 AI 网关项目，基于 Envoy Gateway 扩展，专门处理应用客户端到生成式 AI（GenAI）服务的流量。它的本质是一个 Kubernetes 原生的 LLM 流量管理平面，提供路由、认证、限流、弹性Failover等企业级能力。 Envoy 是 CNCF 旗下久经生产验证的代理，M…
仓库攻略
540 篇 · 535 个项目 · LLM 基础设施
anyllm 是 Mozilla AI 团队推出的 Python 库，目标是让你用同一套代码调用任何 LLM 提供商，无需改业务逻辑。 它的核心理念很清晰：LLM 提供商的 API 接口碎片化严重——OpenAI、Anthropic、Azure、Mistral、Ollama……各家参数名、响应格式、错误处理各有差异。anyllm 不重新造轮子，而是封装官方 …
ECHO（Environment Crossentropy Hybrid Objective）是一个让 CLI Agent 在 RL 训练过程中同时学习预测环境响应（terminal 输出）的混合目标函数，来自论文 arXiv:2605.24517（2026 年 5 月），由 Microsoft Research AI Frontiers 和 Prime I…
版本说明：仓库 README 中没有写死顶层版本号，文档站 inference.roboflow.com/using_inference/about 自称 "Inference 1.0"，PyPI 上 inferencesdk 的最新轮转版本为 1.3.x（如 1.3.7）——下面的命令以当前 README 与 PyPI 通用写法为准，不写死小版本号，使用 …
提示：仓库 README、API 文档链接均指向 ort 2.0 系列，本攻略以当前 main 分支为准（最新示例分支标签为 v2.0.0rc.13，来自仓库 docs 与 examples 中给出的克隆命令）。若你看到更新 rc tag，请以 crates.io 与 docs.rs 的最新版为准。 ort 是 Rust 生态里跑 ONNX 模型的主流 cr…
提示：上游仓库标识写作 openvinotoolkit/openvino_notebooks（带下划线），按本攻略规则计算的文件 slug 为 openvinotoolkitopenvinonotebooks.md。下文中如出现"OpenVINO 2026.2"等版本号，均来自仓库当前 README，未在外部二次确认。 openvino_notebooks …
huggingface/optimum 是 Hugging Face 推出的 Transformers / Diffusers / TIMM / SentenceTransformers 的硬件优化扩展库。它把"同一套 HF 模型"映射到多种推理后端与训练硬件上，让用户用同一份 API 跑出"在目标硬件上的极限性能"——既负责 导出（ONNX、OpenVIN…
llmd 是一个 CNCF Sandbox 级的开源项目，定位是在 Kubernetes 上跑"生产级"大模型分布式推理。它本身不是一个模型服务器（model server），而是架在 vLLM / SGLang]( 之上的编排与优化层——把推理服务拆成 prefill（首 token 阶段）/ decode（增量 token 阶段）、分层 KV cache…
TypeDB 是一个用 Rust 写成的下一代数据库，主打"为系统而生，而非为记录而生"。它用一个概念数据模型（conceptual data model）把关系型、文档型、图数据库的优势合并在一起，避免传统 RDBMS 里的对象关系阻抗不匹配（objectrelational mismatch）——也就是 Java/Python 程序员写业务时经常吐槽的"…
一个长期被忽视的事实是：语言模型被训练来执行动作，但从未被显式训练来建模它们所处的环境。 标准 Agent 强化学习（如 GRPO）只在动作 token 上计算梯度，用稀疏的二元结果奖励（成功/失败）驱动学习。环境中返回的所有观测——stdout、stderr、文件内容、错误信息、工具响应——虽然在 rollout 中已经存在，却不参与训练，被白白丢弃。 工…
本攻略核验了 Raschka 原帖中每款模型的核心参数，所有数字均来自对应官方来源（HuggingFace 模型卡、官方博客、技术报告）。原帖描述与官方文档一致处已核对；存在差异处以官方为准并作注。 Sebastian Raschka（@rasbt）于 2026 年 7 月底更新了他维护的 LLM Architecture Gallery，一口气收录了 6 …
Kimi K3 是 Moonshot AI（MiniMax）推出的开源权重多模态 Agent 大模型，总参数量 2.8T（激活 104B），是全球首个开放的 3T 级开源模型。K3 基于两项自研架构：Kimi Delta Attention（KDA） 和 Attention Residuals（AttnRes），采用 MoE（MixtureofExperts…
Liquid AI 在 2026 年 7 月公开了一套原地词表扩充（Tokenizer Expansion）配方，将已训练好的 LFM28BA1B 模型的 BPE 分词器从 65,536 词扩充到 128,000 词，全程无需从头重训，最终产出 LFM2.58BA1B 模型。 核心思路：把新词表设计为旧词表的确定性扩展——每个新 token 都能拆解为一个或…
Open Model Zoo 是 Intel 维护的预训练深度学习模型仓库，为 OpenVINO™ Toolkit 提供大量已优化模型和演示程序。包含 200+ 模型，覆盖目标检测、图像分类、图像分割、姿态估计、语音识别、文本转语音等主流 CV 任务，并配有可直接运行的 C++ / Python Demo 示例。 模型分为两大类： Intel 预训练模型（m…
CTranslate2 是 OpenNMT 团队开源的 C++ / Python 高性能推理引擎，专门针对 Transformer 模型做极致优化。它通过权重量化、层融合、批处理重排序、动态内存管理等技术，在 CPU 和 GPU 上实现比原生 PyTorch / TensorFlow 快数倍、内存省几倍的推理性能。 支持三种模型架构： DecoderOnly…
Better Agents 是由 LangWatch 团队开源的 CLI 工具 + 一套工程规范，旨在让 AI 编码助手（Claude Code、Cursor、Kilocode 等）成为真正的"Agent 专家"，能按照行业最佳实践构建、测试和评估 AI Agent 项目。 它不替换已有的 Agent 框架（Agno、Mastra、LangGraph 等），…
UnityMCP（Unity Model Context Protocol）是一个将 Unity Editor 和 Runtime 接入 AI Agent（MCP 协议）的插件生态。装好后，AI Agent（如 Claude Code、Cursor、Copilot）能直接操作 Unity 场景、创建 GameObject、读写脚本、运行测试、截屏返回画面，实…
Agently（pip install agently）是一个 Python GenAI 应用开发框架，主打"让模型输出稳定可控、让 AI 服务像后端服务一样可观测、可恢复"。它的核心抽象是 AgentExecution：把一次推理涉及的 prompt、策略、Actions、Skill 绑定、process 流、TaskContext 证据、结果视图统一收口…
Paddler 是一款用 Rust 写的开源 LLM/VLM 推理负载均衡与服务平台。架构非常克制：只有两个组件——balancer（对外暴露 OpenAI 兼容推理接口、管理面和 Web 控制台）和 agent（真正跑推理，注册到 balancer 上即可上线）。底层直接用 llama.cpp 推理引擎（fork 版本，Paddler 自己实现了 slot…
VectorChord（扩展名 vchord）是 PostgreSQL 上一款面向向量检索的扩展，由原 pgvecto.rs 团队（TensorChord）迭代而来。它把向量索引、Rerank 和量化压缩统一塞进 PG 里，目标是把"亿级向量表"和"普通业务表"放在同一套关系型基础设施上跑，不再引入额外的专用向量库。 它有几条主线卖点： 兼容 pgvecto…
LlamaParse Retrieval Harness（发布于 2026 年 6 月 29 日）是 LlamaIndex 在 LlamaParse Index v2 中推出的一套面向 Agent 的文档检索工具集。它不再把文档库当成一个静态向量数据库让 Agent 做一次语义搜索，而是把整个索引暴露为一组类文件系统接口——Agent 可以主动 list、g…
LingBotWorld 2.0（又称 LingBotWorldInfinity）是蚂蚁集团具身智能团队 Robbyant 于 2026 年 7 月 9 日开源发布的交互式世界模型。它能根据用户输入的动作流（摄像头位姿 + 文本指令）逐帧生成视频，充当实时的可交互世界模拟器。 相比 1.0 版本分钟级稳定生成，2.0 实现了小时级连续输出，同时支持 720p…
XNNPACK 是 Google 官方维护的 神经网络推理算子库（C11 / C++17 / Python 3），专为 ARM、x86、WebAssembly、RISCV、Hexagon 等 CPU 类硬件优化浮点（FP16 / FP32）以及量化（INT8 / perchannel、perrow）推理。仓库明说「not intended for direc…
huggingface.js 是 Hugging Face 官方维护的 JavaScript / TypeScript 工具套件，本身是个 monorepo，里面按职责拆分成了若干独立发布的 npm 包： @huggingface/hub：与 huggingface.co 交互——创建/删除仓库、上传/下载/列出文件、提交 commit。覆盖 Model /…
torchao（即 pytorch/ao 仓库发布的 PyPI 包名）是 PyTorch 官方主推的 原生量化与稀疏化库，主打「训练推理一致」「一行代码改动即可接入」，覆盖从权重量化（int4/int8/fp8/NF4）、激活量化、2:4 稀疏、低比特 optimizer（4bit/8bit/fp8 AdamW）、量化感知训练（QAT），到 float8 预…
PocketFlow 是一个仅用 100 行 Python 代码实现的轻量级 LLM 框架，核心思想是将 LLM 应用建模为有向图（Graph）。框架本身零依赖（仅需 asyncio），安装包仅 56KB，却能表达 Agent、Workflow、RAG、MultiAgent 等常见设计模式。 作者的核心论点是：市面上的主流 LLM 框架（LangChain、…
OpenScience 是 Synthetic Sciences（YC W26 入选团队）出品的开源 AI 科研工作台。用户给定一个研究目标，它就以"能力型合作者"的方式走完完整研究闭环——读文献、提假设、写代码、跑实验、查数据库、写报告，全程在一个浏览器 Workspace 里完成。 它于 2026 年 7 月 5 日正式发布，定位是 Claude Sci…
Claude Code 动态工作流（Dynamic Workflows）是 Anthropic 于 2026 年 5 月 28 日（随 Opus 4.8 发布）推出的研究预览功能，核心解决一个长期难题：LLM Agent 的编排逻辑（即"谁在什么时机调用谁"）本质上是硬编码的，无法动态适应任务规模。 动态工作流的解法是：让 Claude 自己写一个 Java…
MCP Router 是一个桌面端（Desktop）的 MCP 服务器统一管理应用，自定位为 "Unified MCP Server Management App / MCP Manager"。Model Context Protocol（MCP）是 Anthropic 推出的"让 LLM 调用外部工具/数据源"的开放协议，过去一年 MCP 服务器数量爆炸—…
envd（ɪnˈvdɪ，读作 "invideo"）是 TensorChord 开源的一个面向 AI/ML 的容器化开发环境构建工具。它用一个声明式的 build.envd 文件描述你的训练/推理环境，然后用一个 envd up 命令把它打包成 OCI 兼容的镜像，并在本地（或远端 K8s 集群）跑起来。 它不是 Dockerfile 的替代品那种简单封装——…