FastDeploy 是百度飞桨（PaddlePaddle）团队推出的"LLM + VLM 推理部署工具包"，主打工业级一键部署和国产芯片广覆盖。它的目标不是要替代 vLLM，而是站在 vLLM 接口的肩膀上，把 ERNIE、Qwen3、DeepSeekV3、PaddleOCRVL 等模型在 NVIDIA、昆仑芯 XPU、海光 DCU、天数 GPU、燧原 G…
仓库攻略
419 篇 · 418 个项目 · 工程化
FastVideo 是 MBZUAI Hao Zhang 实验室主导的"统一视频生成推理 + 后训练（蒸馏/微调）框架"。它不是某个视频生成模型本身，而是一套面向 DiT 类视频扩散模型（Wan、Mochi、Hunyuan、CausalWan 等）的训练蒸馏推理一站式底座，目标是让视频生成既能微调，又能跑得快、跑得便宜。 仓库内同时包含 4 个层次的产出： …
Apache Burr（incubating）是一个 Python 状态机框架，用来构建"会做决策的应用"——chatbot、agent、simulation、人机协作工具。它把应用建模成一张 state machine（状态机/流程图）： Burr 的关键设计哲学是 "框架无关"：它不规定你必须用哪个 LLM SDK、哪个 vector DB、哪个 age…
Apache Hamilton（incubating）是一个轻量的 Python 库，用"Python 函数即节点"的方式构建数据转换 DAG。它的核心思路是：你写普通的 Python 函数，函数参数的名字 = 它依赖的上游节点名，Hamilton 自动把这些函数拼成 DAG、并按依赖顺序执行。 举例： import pandas as pd def sig…
OpenLIT 是一个开源的 AI Engineering 平台，定位是"一站式把 LLM 应用从实验推到生产"。它把 OpenTelemetry 当作统一底座，向上提供 6 类核心能力： 1. 可观测性 SDK（Python / TypeScript / Go）：对 50+ LLM provider、VectorDB、Agent 框架、GPU 做自动埋点（…
2026 年 7 月 14 日上传至 arXiv 的一篇97 页大survey（arXiv:2607.13104），由 DAIR.AI 团队（Zhe Ren、Yimeng Chen 等）联合 Jürgen Schmidhuber 等人撰写。配套 GitHub 仓库 selfimprovingagent/awesomeSelfImprovingAgents 提…
Canvas Editor 是一个基于 HTML <canvas API 构建的富文本编辑器（WYSIWYG），与传统的 contenteditable 方案完全不同。它完全接管渲染管线，在 Canvas 画布上绘制文字、表格、图片、公式等所有内容，从而实现跨浏览器像素级一致的排版输出。 核心技术特点： 渲染引擎基于 Canvas Draw，不依赖浏览器内置…
这是 Decoding AI 杂志社出品的开源实战课程仓库，教你从零搭建一个"Second Brain AI 助手" —— 让你的 Notion / 网页笔记 / 文档作为个人知识库，配合 agent + RAG + 微调 + LLMOps，做出一个能聊你自己的笔记的生产级 AI 助手。MIT 协议、纯 Jupyter Notebook + Python、最…
ChainForge 是一个给 LLM prompt 做对抗测试的开源可视化编程环境（visual programming environment），学术出身 —— 作者 Ian Arawjo 在 Harvard HCI 组做博后期间发表（CHI 2024 论文 "ChainForge: A Visual Toolkit for Prompt Enginee…
LoRAX（LoRA eXchange）是 Predibase 开源的 多 LoRA 适配器推理服务器，目标是在一张 GPU 上同时服务成百上千个微调后的 LLM，而吞吐和延迟几乎不打折。它通过"动态加载适配器 + 异构连续批处理 + 适配器交换调度"三大机制，让一份基座模型（如 Mistral7B、Llama3、Qwen）被数千个不同任务的 LoRA 适配…
Sakana AI 在 ICLR 2026 发表了一篇非常有意思的论文：让一个小模型学会当「指挥家」，而不是自己下场干活。 传统多智能体系统的做法是：人类预先写好流水线（planner → coder → verifier），然后让模型按这个固定流程走。问题在于：不同任务复杂度差异巨大——简单事实问答根本不需要 5 步 pipeline，而复杂编程题可能需要…
VLMEvalKit（Python 包名 vlmeval）由上海人工智能实验室 OpenCompass 团队开源，是大型视觉语言模型（LVLM / VLM）的事实标准评估工具包。它的口号是 "一命令评测 220+ LVLM、80+ benchmark" —— 用户只写一个 generate_inner()，剩下的数据下载、预处理、推理、metric 全部由框…
lmmseval（Python 包名 lmmseval，前身为 LMMsEval）是 EvolvingLMMsLab 维护的"统一多模态大模型评估工具包"。目标只有一个：让"同一个模型 + 同一个 benchmark + 同一套参数"在两台机器上跑出来数字一致，并且能覆盖文本、图像、视频、音频四大模态的 100+ 任务、30+ 模型后端。 它脱胎于 Eleu…
llmtwincourse 是 Decoding AI Magazine（Paul Iusztin & Alex Vesa 团队）开源的免费工程课，目标是从零搭建一个能"模仿你写作风格"的生产级 LLM Twin —— 一套完整的端到端 LLM + RAG 系统，覆盖数据采集、CDC 同步、实时特征工程、SFT 微调、RAG 推理、Prompt 监控全部 6…
opendilab/awesomeRLHF 是上海人工智能实验室 OpenDILab 维护的 "RLHF 精选资源列表"，延续 awesome 系列的策展风格：把强化学习与人类反馈（Reinforcement Learning from Human Feedback）相关论文、代码库、数据集、博客、图书按时间线（2020 及以前 → 2026）梳理成一份可阅…
rasbt/reasoningfromscratch 是 Sebastian Raschka（Build a Large Language Model (From Scratch) 的作者）出版的第二本 Manning 图书 Build a Reasoning Model (From Scratch) 的官方配套代码仓库。整本书/仓库的目标是：从一个已经预训…
ThuThesis 是清华大学 TUNA 协会维护的官方 LaTeX 学位论文模板，覆盖本科综合论文训练、学术型/专业型硕士、博士、博士后出站报告全部学位类型，并已支持苏世民书院变体。它不是一份空白样式文件，而是一整套 .cls + .def + .bib 配套的工程：从封面、声明页、授权页、中英文摘要、目录、章节、图表公式序号、参考文献（BibLaTeX …
astridruntime/book 是 Unicity Astrid OS 的权威技术参考文档，同样基于 mdBook 构建。它是理解 Astrid 操作系统内部设计的完整手册，面向构建 Capsule（胶囊）或深入理解系统架构的开发者。 Astrid OS 是一个专为 AI Agent 设计的操作系统，它的核心设计哲学是：像操作系统对待进程一样对待 AI…
RunAnywhere 是一个端侧 AI 推理 SDK 套件，让你在 iOS、Android、Flutter、React Native 和浏览器里直接跑 LLM、VLM、语音识别（TTS/STT）和语音合成，无需联网、数据不离设备。它用同一套 API 屏蔽了各平台的底层差异：Apple 设备走 Core ML / Metal，安卓走 llama.cpp 或高…
ZenML 是一个面向 ML/AI 工程师的统一 AI 平台，核心价值主张是：一次编写，随处运行——用 Python 装饰器定义管道（pipelines）和步骤（steps），ZenML 自动处理容器化、追踪、部署和基础设施抽象，让你无需改动代码即可在本地、Kubernetes、云端之间切换。 ZenML 的定位介于实验追踪工具（MLflow、W&B）和完整…
AwesomeLLMOps 是由 tensorchord 团队维护的 GitHub 精选列表（Awesome List），收录了 LLMOps（Large Language Model Operations）领域的优质工具、项目和资源。截至 2026 年 7 月已累计 5879 Stars，周增 +7，是目前最活跃的 LLMOps 专题列表之一。 LLMOp…
Agent Starter Pack（ASP） 是 Google Cloud 官方出的 生产级 GenAI Agent 模板项目：用 Python 包形式提供一整套「Agent + 后端 + 前端 + 部署基础设施 + 监控 + CI/CD」的项目骨架，让开发者只关心 agent 业务逻辑。 它支持多种 agent 框架 / 模式（自带模板）： 重要变更：R…
官方维护的 Amazon SageMaker 示例笔记本仓库，由 AWS SageMaker 团队直接管理。它不是 SDK 本身，而是 SageMaker 各功能（数据准备、训练、推理、监控、Feature Store、SageMakerCore、Studio 等）的 可运行 Jupyter Notebook 示范集合，覆盖从 XGBoost 入门到大规模分…
OpenLLM 是一个开源的 LLM 推理服务框架，让你用一条命令把任何开源大模型（Llama 3.3、Qwen2.5、Mistral、DeepSeek 等）启动为 OpenAI 兼容的 HTTP API，并自带一个 Web Chat UI。它基于 BentoML 构建，支持 Docker 部署和 BentoCloud 云端托管，适合需要自托管 LLM AP…
Chronos 是亚马逊科学团队开源的时间序列预测预训练模型家族，通过将时间序列 token 化后借助语言模型架构（类 T5）进行训练，实现零样本预测。整个家族经历三代演进： Chronos2（最新，2025年10月发布）：120M 参数 encoderonly 模型；支持单变量、多变量、以及带外生变量的协变量感知预测；上下文扩展至 8192 步、预测长度达…
VimTeX 是 Vim 和 Neovim 的现代化 LaTeX 文件类型插件，提供语法高亮、编译集成、PDF 预览正向/反向搜索、文本对象、快捷键绑定等一整套 LaTeX 写作工作流。它不是"在 Vim 里写 LaTeX"的简单语法包，而是一个完整的 LaTeX IDE 解决方案——覆盖从写作到编译到预览的全流程。 核心特点：模块化（每个功能可单独开关）、…
typoralatextheme 是一个让 Typora 编辑器渲染出类 LaTeX 排版外观的 CSS 主题。它的核心价值是：让你用 Markdown 的轻量语法写作，但导出 PDF 时呈现正经的学术论文样式——字体、段落、标题、公式、表格、参考文献，都按 LaTeX 风格来。 预设样式参考了浙江大学本科课程论文格式（小字体、小页边距），但所有格式参数都暴…
DocsGPT 是一个开源的私有 AI 知识库与 Agent 构建平台，专注于让团队在完全私有化的环境下，对文档、代码库、内部知识进行 AI 问答与智能搜索。它融合了 RAG（检索增强生成）、多模型支持、Deep Research 模式和低代码 Agent 可视化构建器，适合企业和开发者私有部署。 核心定位：把 LangChain + RAG + Agent…
pandoclatextemplate 是 Wandmalfarbe 维护的 pandoc LaTeX 模板（代号 Eisvogel），目标是让你的 Markdown 直接转出"看起来像正式出版物 / 讲义"的 PDF 或 .tex，免去手写 LaTeX 模板的痛苦。 模板自带： 自定义封面页（可指定背景色、字体色、logo、整页背景图） 整本可读的正文页（…
mcpagent 是 Lastmile AI 开源的、专门面向 Model Context Protocol（MCP） 的 Python Agent 框架。它的基本立场是："MCP 就够了，简单的可组合模式比花哨架构更稳"。它围绕一个 MCPApp 运行时来注册 Agent、MCP 服务器、工具和工作流，把 Anthropic 那篇「Building Eff…