GGML（ggmlorg/ggml）是一个用纯 C/C++ 编写的机器学习张量库，专为在消费级硬件上高效运行神经网络推理而设计。它是 llama.cpp 和 whisper.cpp 的底层引擎，也是本地大模型推理的事实标准基础设施。 GGML 的核心哲学：极简、便携、内存高效、零外部依赖。它用标准 C 编译器即可编译，生成的可执行文件通常小于 1 MB，可在…
仓库攻略
43 篇 · 43 个项目 · LLM 基础设施 · jay
内容待复核
josephmisiti/awesome-machine-learning · 上手攻略
awesomemachinelearning 是机器学习领域最老牌、最全的资源列表之一，由 Joseph Misiti 维护（Stars 73,273，周增 +112）。它按编程语言分类，收录了几乎所有主流机器学习框架、库和工具，堪称 ML 领域的"黄页"。 仓库不提供代码，仅做资源导航，是发现和调研 ML 工具的首选起点。 ⚠️ 注意（2026年4月维护者…
BentoML 是一个 Python 库，用于构建和部署 AI 模型推理服务。它将任意 AI/ML 模型的推理代码，通过几行装饰器注解，自动变成可扩展的 HTTP API，并支持 Docker 镜像打包、模型版本管理、动态批处理、多模型编排等生产级特性。 核心理念："Build Model Inference APIs, Job queues, LLM ap…
Ray 是一个统一分布式 AI 计算框架，用于将 Python 和 AI 应用从单机扩展到集群。核心由两部分组成： 一句话定位：让你用同一套 Python 代码，从笔记本无缝扩展到数千节点集群，不需要懂分布式系统。 ML 和 LLM 工作流的三大挑战： 1. 单机算力不够：大模型训练/推理、微调、SFT 需要多机多卡，单机环境无法承载 2. 分布式门槛高：手…
One API 是一个开源的 LLM API 管理与分发系统，用统一的 OpenAI API 格式暴露所有主流大模型接口，支持 API Key 管理、负载均衡、令牌配额控制、用户权限管理和二次分发。 通俗来说：你在 One API 后台配置好各渠道（OpenAI、Claude、Gemini、DeepSeek 等）的 API Key，对外只暴露一个 API 地…
Outlines（GitHub: dottxtai/outlines，PyPI 包名 outlines）是一个 Python 库，专门解决 LLM 输出结构化数据的问题。由 .txt 团队开发和维护，被 NVIDIA、Cohere、HuggingFace、vLLM 等知名机构信任使用。 核心价值主张：在生成阶段就保证输出格式正确，而不是生成后再用正则、JSO…
Repomix 是一款将整个代码仓库打包为单个 AI 友好文件的工具（MIT 协议，TypeScript），Stars 26956，周增+140。它解决的核心问题是：当你需要把一个完整项目喂给 LLM（如 Claude、ChatGPT、DeepSeek）时，如何高效、结构化地传递所有代码，同时控制 token 用量、规避敏感信息泄露。 输出格式支持 XML（…
LLaMA Factory（LlamaFactory）是一个统一的大模型微调平台，能对超过 100 种预训练 LLM 和 VLM（视觉语言模型）进行高效微调，且无需编写代码。项目发表面向 ACL 2024论文，并被广泛用于学术和工业场景。 其核心定位是：让微调大模型变得像"运行一个命令"一样简单。 从零预训练大模型成本极高，普通开发者无法承受。而直接使用通用…
f/prompts.chat 原名 Awesome ChatGPT Prompts，是 GitHub 上最早（2022 年 12 月）也是规模最大的开源提示词（Prompt）集合库。官方自称「世界最大的开源提示词库」，已获 143k+ GitHub Stars，曾被 GitHub 官方精选（Staff Pick），被哈佛、哥伦比亚等高校引用，学术引用超 40…
ds4（DwarfStar）是意大利程序员 Salvatore Sanfilippo（网名 antirez，Redis 作者）用纯 C 语言手写的本地推理引擎，专门针对 DeepSeek V4 Flash 和 V4 PRO 两个权重模型优化。与一般 GGUF 通用加载器不同，它是专为这两款模型定制的闭着眼睛优化路径——不是万金油，而是专精选手。 项目有三大目…
newapi 是一个统一 AI 模型网关，核心功能是把来自不同供应商的 LLM（OpenAI、Claude、Gemini、DeepSeek 等）聚合到一个入口，通过格式转换（Format Bridge）让它们互相兼容，并以统一 API 暴露给下游应用。 简单类比：AI 领域的 Nginx + 多路复用代理，支持渠道加权随机调度、自动失败重试、Token 级权…
Open WebUI 是一个可扩展、功能丰富、用户友好的自托管 AI 交互界面。它的核心目标是让你完全离线运行自己的 AI 界面，同时支持连接任意 OpenAI API 兼容的模型（包括本地 Ollama、私有化部署的 vLLM、LM Studio 等）。 用一张图来理解它的位置： 用户浏览器 ←→ Open WebUI ←→ Ollama / OpenAI…
freellmapiresources 是一个持续更新的免费 LLM API 资源清单，收录了提供免费额度或试用积分的 LLM API 服务商，帮助开发者在不花一分钱的情况下接入大语言模型能力。 仓库本质上是一份结构化的资源目录，按免费程度分为两大类： 真正免费（无需付费即可使用） 有试用积分（注册送额度，用完需充值） 维护者通过脚本自动拉取各平台的模型列表…