ZML（Z Machine Learning）是一个生产级 AI 推理技术栈，旨在将任意模型部署到任意硬件加速器上，零妥协。 它基于 Zig 语言、MLIR 编译框架和 Bazel 构建系统实现，支持 NVIDIA CUDA、AMD RoCM、Intel OneAPI、Google TPU、AWS Trainium/Inferentia 2 等多种加速器后端…
仓库攻略
105 篇 · 105 个项目 · LLM 基础设施
Repomix 是一款将整个代码仓库打包为单个 AI 友好文件的工具（MIT 协议，TypeScript），Stars 26956，周增+140。它解决的核心问题是：当你需要把一个完整项目喂给 LLM（如 Claude、ChatGPT、DeepSeek）时，如何高效、结构化地传递所有代码，同时控制 token 用量、规避敏感信息泄露。 输出格式支持 XML（…
AirLLM 是一个开源 Python 库，实现了一种层间加载（layerwise）推理技术，让超大语言模型在显存极小的 GPU（甚至只有 4GB VRAM 的卡）上运行推理，无需量化、无需蒸馏、无需剪枝。 核心技术原理：用单层加载替代全量加载。传统推理需要把 130GB 的 70B 模型一股脑塞进显存；AirLLM 把模型按 transformer 层拆开…
PowerInfer 是由上海交大 IPADS 实验室开源的高速 LLM 推理引擎，专为单张消费级 GPU（RTX 4090 等）本地部署设计。其核心技术是利用 LLM 推理中神经元激活的幂律分布特性——少数"热神经元"（hot neurons）在几乎所有输入中都被激活，而大多数"冷神经元"（cold neurons）则随输入变化。 基于这一洞察，Power…
LLaMA Factory（LlamaFactory）是一个统一的大模型微调平台，能对超过 100 种预训练 LLM 和 VLM（视觉语言模型）进行高效微调，且无需编写代码。项目发表面向 ACL 2024论文，并被广泛用于学术和工业场景。 其核心定位是：让微调大模型变得像"运行一个命令"一样简单。 从零预训练大模型成本极高，普通开发者无法承受。而直接使用通用…
SGLang 是一个高性能大语言模型（及多模态模型）推理 serving 框架，由 LMSYS 组织开发维护（Apache2.0 许可证）。它的核心定位是 vLLM 的直接竞争对手，在多项 benchmark 上展示出更高的吞吐量和更低的延迟。SGLang 底层基于 PyTorch，支持 RadixAttention（前缀缓存）、连续批处理（continuo…
vLLM 是一个高吞吐量、内存高效的 LLM 推理与服务引擎，最初由 UC Berkeley Sky Computing Lab 开发，现已成长为全球最活跃的开源 AI 基础设施项目之一，拥有来自 2000+ 贡献者的社区支持。 核心突破是 PagedAttention 技术——受操作系统虚拟内存分页启发，将 KV Cache 切分成小块动态管理，显著减少显…
f/prompts.chat 原名 Awesome ChatGPT Prompts，是 GitHub 上最早（2022 年 12 月）也是规模最大的开源提示词（Prompt）集合库。官方自称「世界最大的开源提示词库」，已获 143k+ GitHub Stars，曾被 GitHub 官方精选（Staff Pick），被哈佛、哥伦比亚等高校引用，学术引用超 40…
LiteLLM 是一个统一调用 100+ 大模型 API 的 Python 库 + AI Gateway（代理服务器），用 OpenAI 格式作为统一接口，抹平各 provider（OpenAI、Anthropic、Gemini、Bedrock、Azure、HuggingFace、VLLM、NVIDIA NIM 等）的 API 差异，同时提供成本追踪、虚拟 …
ds4（DwarfStar）是意大利程序员 Salvatore Sanfilippo（网名 antirez，Redis 作者）用纯 C 语言手写的本地推理引擎，专门针对 DeepSeek V4 Flash 和 V4 PRO 两个权重模型优化。与一般 GGUF 通用加载器不同，它是专为这两款模型定制的闭着眼睛优化路径——不是万金油，而是专精选手。 项目有三大目…
newapi 是一个统一 AI 模型网关，核心功能是把来自不同供应商的 LLM（OpenAI、Claude、Gemini、DeepSeek 等）聚合到一个入口，通过格式转换（Format Bridge）让它们互相兼容，并以统一 API 暴露给下游应用。 简单类比：AI 领域的 Nginx + 多路复用代理，支持渠道加权随机调度、自动失败重试、Token 级权…
Sub2API 是一个存在明确服务条款风险的开源项目。仓库 README 开篇即写明： "使用本项目可能违反 Anthropic 等上游服务商的服务条款。请仔细阅读相关服务商的用户协议，所有风险由用户自行承担。" 在部署和使用前，请充分评估法律风险。 本攻略仅做技术说明，不构成使用建议。 Sub2API 是一个自托管 AI API 网关，用于将 AI 产品订…
Open WebUI 是一个可扩展、功能丰富、用户友好的自托管 AI 交互界面。它的核心目标是让你完全离线运行自己的 AI 界面，同时支持连接任意 OpenAI API 兼容的模型（包括本地 Ollama、私有化部署的 vLLM、LM Studio 等）。 用一张图来理解它的位置： 用户浏览器 ←→ Open WebUI ←→ Ollama / OpenAI…
freellmapiresources 是一个持续更新的免费 LLM API 资源清单，收录了提供免费额度或试用积分的 LLM API 服务商，帮助开发者在不花一分钱的情况下接入大语言模型能力。 仓库本质上是一份结构化的资源目录，按免费程度分为两大类： 真正免费（无需付费即可使用） 有试用积分（注册送额度，用完需充值） 维护者通过脚本自动拉取各平台的模型列表…
按“序列瓶颈—注意力—规模化预训练—人类偏好对齐”的问题链阅读核心论文，不以模型名单代替技术因果。 每站只回答三个问题：上一代的瓶颈是什么，新方法改变了哪个假设，它又留下了什么新问题。