OpenLLM 是一个开源的 LLM 推理服务框架，让你用一条命令把任何开源大模型（Llama 3.3、Qwen2.5、Mistral、DeepSeek 等）启动为 OpenAI 兼容的 HTTP API，并自带一个 Web Chat UI。它基于 BentoML 构建，支持 Docker 部署和 BentoCloud 云端托管，适合需要自托管 LLM AP…
仓库攻略
540 篇 · 535 个项目 · LLM 基础设施
Void 是一个基于 VS Code 的开源 AI 代码编辑器，由 YC 支持的初创公司 Glass Devtools 开发。它在 VS Code 基础上引入了 AI Agent 能力——支持在代码库上运行 AI Agent、Checkpoint 可视化、以及任意模型或 API 的本地接入。数据直接发送给提供商，不在 Void 侧留存。 ⚠️ 重要状态：Vo…
Chronos 是亚马逊科学团队开源的时间序列预测预训练模型家族，通过将时间序列 token 化后借助语言模型架构（类 T5）进行训练，实现零样本预测。整个家族经历三代演进： Chronos2（最新，2025年10月发布）：120M 参数 encoderonly 模型；支持单变量、多变量、以及带外生变量的协变量感知预测；上下文扩展至 8192 步、预测长度达…
ThinkingCapQwen3.627B 是由 BottleCap AI 发布的推理效率优化微调模型，基于 Qwen 团队 2026 年 4 月开源的 Qwen3.627B（稠密 27B 参数多模态模型，支持思维链推理与非思维推理双模式）进行微调，核心目标是：在保持答案质量和风格完全不变的前提下，系统性削减推理时的"思考 Token"数量。 原帖分享者 @…
DocsGPT 是一个开源的私有 AI 知识库与 Agent 构建平台，专注于让团队在完全私有化的环境下，对文档、代码库、内部知识进行 AI 问答与智能搜索。它融合了 RAG（检索增强生成）、多模型支持、Deep Research 模式和低代码 Agent 可视化构建器，适合企业和开发者私有部署。 核心定位：把 LangChain + RAG + Agent…
ymcui/ChineseLLaMAAlpaca 是最早一批将 Meta LLaMA 模型中文化并开源的重量级项目。它的核心工作是两件事： 1. 中文词表扩充——原版 LLaMA 词表偏英文，中文编码效率极低（一个汉字 = 多个 subword），该项目将中文词表扩充至约 5 万 token，显著提升中文处理效率 2. 指令精调（Alpaca）——在扩充词表…
MOSS（MultiOmni Scale System）是复旦大学开源的工具增强型对话语言模型，具有 160 亿参数（16B），支持中英双语、多轮对话，以及插件调用能力（搜索、文生图、计算器、解方程）。 该项目开源内容包括： 本质上，这是一个可以调用工具的中文 ChatGPT 风格模型，可以在本地私有部署，参数规模比 GPT4 小但远大于早期开源 7B 模型…
argmaxossswift 是 Argmax 公司开源的 Apple Silicon 上的端侧语音 AI Swift SDK 套件。一个 Swift Package 里打包了三个产品： WhisperKit — 用 OpenAI Whisper 做离线 语音转文字（ASR），模型跑在 Core ML 上。 TTSKit — 用 Qwen3TTS 做离线 文…
mcpagent 是 Lastmile AI 开源的、专门面向 Model Context Protocol（MCP） 的 Python Agent 框架。它的基本立场是："MCP 就够了，简单的可组合模式比花哨架构更稳"。它围绕一个 MCPApp 运行时来注册 Agent、MCP 服务器、工具和工作流，把 Anthropic 那篇「Building Eff…
ClearML 是一个开源的 ML/DL/GenAI 全栈开发与生产平台，涵盖实验管理（Experiment Manager）、数据管理与版本控制（HyperDatasets）、MLOps/LLMOps 编排（Agent + Orchestration）、模型服务（Model Serving）、报表与可视化（Reports）五大模块。用作者自己的话说：解决的…
NirDiamant/Prompt_Engineering 是由 AI 教育博主 Nir Diamant 维护的提示工程（Prompt Engineering）教程仓库，汇集了 22 种提示工程技术的 Jupyter Notebook 实战教程，从最基础的单轮/多轮提示模板到 ChainofThought、SelfConsistency、TreeofThou…
cursortalktofigmamcp（项目名 TalkToFigma）是新加坡 Grab 团队开源的一个 MCP（Model Context Protocol）集成工具，让 AI Agent（如 Cursor、Claude Code、Codex）能够直接与 Figma 进行双向通信——AI 可以读取 Figma 设计稿内容，也可以修改 Figma 中的元…
Evidently 是一个开源的 ML 和 LLM 可观测性（Observability）框架，用 Python 编写，用于评估、测试和监控 AI 系统——从传统机器学习模型到生成式 LLM 应用均可覆盖。 核心能力： 离线评测（Reports）：一次性评估模型或数据质量，输出交互式 HTML 报告或 JSON。 测试套件（Test Suites）：在 CI…
Mooler0410/LLMsPracticalGuide 是一个以Survey Paper 为基础整理的LLM实践指南索引库（而非代码库）。它将大语言模型领域的论文、博客、工具按主题分类组织，帮助研究者和工程师在庞杂的文献中找到"什么场景用什么模型/方法"的最优路径。 核心资产有两块： 1. LLM 演进树（Evolutionary Tree）：一张可视化…
NVIDIA Triton Inference Server 是 NVIDIA 开源的"模型推理服务化"系统。和 TensorRT 关注"单模型怎么跑得最快"不同，Triton 关注的是"一堆模型怎么稳定高效地对外提供服务"——它把 TensorRT、PyTorch、ONNX Runtime、OpenVINO、Python、RAPIDS FIL 等多个推理后…
NVIDIA TensorRT 是 NVIDIA 官方的高性能深度学习推理 SDK，主要做一件事：把训练好的模型（来自 PyTorch / TensorFlow / ONNX 等）编译并优化成针对 NVIDIA GPU 高度调优的运行时引擎（engine），从而在生产中获得最低延迟和最高吞吐。 GitHub 上 NVIDIA/TensorRT 仓库是 Ten…
OpenUI 是 Weights & Biases（W&B）开源的一款"用自然语言描述 UI，立刻看到渲染结果"的工具。你可以输入"一个带搜索框的暗色 dashboard，顶部有用户头像"，它会输出实时预览的 HTML/Svelte/React/Web Components；你可以继续用对话让它改样式、加组件、把生成的代码一键转成 React 等多端实现。官…
MathJax 是一个开源 JavaScript 渲染引擎，专门在浏览器中高质量地显示 LaTeX、MathML 和 AsciiMath 数学公式。它不需要用户安装任何插件或额外字体，只要网页里引用了 MathJax，公式就会自动渲染出来。 MathJax 诞生于 2010 年前后，至今仍是 Web 数学渲染的事实标准，被 arXiv、Stack Overf…
内容待复核
BradyFU/Awesome-Multimodal-Large-Language-Models · 上手攻略
这是一份由南京大学 MIG 实验室（NJUMiG）维护的多模态大语言模型（Multimodal Large Language Models，MLLM）前沿论文合集，截至 2026 年 7 月已收录 17.9k+ Stars，是 MLLM 领域最全面、最活跃的社区驱动的学术索引之一。 它不是代码库，而是一个持续更新的知识库，系统整理了 MLLM 各个子方向的论…
llmaction 是一个中文大模型技术博客式知识库，由独立作者维护，系统整理了大模型从训练到推理、从微调到部署的全链路技术内容。仓库以 Markdown 文件为主，通过 GitHub + 知乎/掘金文章链接提供深度教程，涵盖 LLM 预训练、SFT、RLHF、分布式训练、推理优化、量化、评测等几乎所有核心环节。适合想系统了解大模型工程实战的工程师和研究人员…
OpenAgent 是一个开源的个人 AI 助手平台，主打「allinone」路线：把大模型（LLM）、知识库（RAG）和自主 Agent 循环整合到一起，以单二进制文件形式交付，开箱即用。 它的核心理念是「selfhostable」——不需要把数据送到第三方，自己部署自己用。它同时支持 browseruse（控制真实浏览器）、computeruse（操作文…
Coze Loop 是字节跳动 Coze（扣子）平台推出的AI Agent 全生命周期运营平台，最近将核心模块开源（Apache 2.0）。它解决的是 AI Agent 开发过程中"写 Prompt → 调试 → 评估效果 → 上线监控"这一整条链路的工程化问题。 开源版提供三大核心能力：Prompt 开发和调试（Playground）、自动化评估（Eval…
mcpuse 是一个全栈 MCP（Model Context Protocol）开发框架，帮助开发者快速构建 MCP Servers（工具服务器）和 MCP Apps（可交互的 AI 应用组件），同时提供 MCP Client / MCP Agent 客户端实现，内置 Web 版 Inspector 调试工具，并支持一键部署到 Manufact MCP Cl…
Metaflow 是 Netflix 于 2019 年开源的人类中心化 ML/AI 系统框架，用 Python 编写，目标是让数据科学家和工程师能够从笔记本快速原型开发无缝过渡到可靠的生产部署。它覆盖了 AI/ML 项目全生命周期：实验跟踪、数据管理、模型版本控制、水平/垂直扩展，以及一键部署到生产编排器。 Netflix 内部有超过 3000 个 AI/M…
Giskard 是一个开源 Python 库，专为测试和评估 AI Agent 系统而设计，由法国团队 GiskardAI 维护。它经历了从 v2 到 v3 的重大重写：v3 采用模块化架构，将功能拆分为 giskardchecks（轻量测试）、giskardscan（红队漏洞扫描）和规划中的 giskardrag（RAG 评估）三个独立包，去掉了 v2 中…
awesomedocker 是一个精选的 Docker 生态资源列表（Awesome List），由 Veggiemonk 维护，收录了与 Docker 容器技术相关的优质开源项目、工具、服务和学习资源。它不是某个具体的软件，而是一份" Docker 生态地图"，帮助开发者快速找到适合自己场景的工具。 GitHub Stars 36422（持续增长中），是 …
Nacos（Name and Configuration Service）是阿里巴巴开源的动态服务发现、配置管理和服务管理平台，专为云原生应用和微服务架构设计。它于 2018 年开源，2020 年成为 Apache 顶级项目（TLP），是 Java 微服务生态中最为流行的注册中心与配置中心之一。 Nacos 官方站： 核心四大能力： 1. 服务发现与健康检查…
karpathy/llm.c 是由知名 AI 研究员 Andrej Karpathy 创建的一个开源项目，目标是用最简单、纯粹的 C/CUDA 代码实现大语言模型（LLM）训练，无需依赖 PyTorch 或 Python 运行时。 核心思想：用原始的 C 代码（~1,000 行）+ CUDA kernel，直接从零实现 GPT2 训练链路，去掉一切不必要的抽…
akullpp/awesomejava 是 GitHub 上历史最久、影响力最大的 Java 生态 Awesome List 之一，由 @akullpp 长期维护，标准 awesomere 徽章挂顶。它不是一款软件、不是框架，而是一份按主题分类、持续更新的 Java 库/工具精选目录。 仓库当前定位：「A curated list of awesome Ja…
cubestudio 是腾讯音乐（TME）开源的一站式云原生机器学习/深度学习/大模型 AI 平台，覆盖从数据标注、模型训练、任务编排、分布式推理到模型市场的 MLOps 全流程。 它是腾讯音乐内部多年沉淀的生产级平台首次对外开源，目标是为中大型团队提供一个开箱即用、功能全面的企业级 AI 基础设施，同时特别注重对国产硬件（昇腾 NPU）和国产软件生态的支持…