llmaction 是一个中文大模型技术博客式知识库，由独立作者维护，系统整理了大模型从训练到推理、从微调到部署的全链路技术内容。仓库以 Markdown 文件为主，通过 GitHub + 知乎/掘金文章链接提供深度教程，涵盖 LLM 预训练、SFT、RLHF、分布式训练、推理优化、量化、评测等几乎所有核心环节。适合想系统了解大模型工程实战的工程师和研究人员…
仓库攻略
201 篇 · 199 个项目 · jay · LLM 基础设施
Coze Loop 是字节跳动 Coze（扣子）平台推出的AI Agent 全生命周期运营平台，最近将核心模块开源（Apache 2.0）。它解决的是 AI Agent 开发过程中"写 Prompt → 调试 → 评估效果 → 上线监控"这一整条链路的工程化问题。 开源版提供三大核心能力：Prompt 开发和调试（Playground）、自动化评估（Eval…
mcpuse 是一个全栈 MCP（Model Context Protocol）开发框架，帮助开发者快速构建 MCP Servers（工具服务器）和 MCP Apps（可交互的 AI 应用组件），同时提供 MCP Client / MCP Agent 客户端实现，内置 Web 版 Inspector 调试工具，并支持一键部署到 Manufact MCP Cl…
awesomedocker 是一个精选的 Docker 生态资源列表（Awesome List），由 Veggiemonk 维护，收录了与 Docker 容器技术相关的优质开源项目、工具、服务和学习资源。它不是某个具体的软件，而是一份" Docker 生态地图"，帮助开发者快速找到适合自己场景的工具。 GitHub Stars 36422（持续增长中），是 …
Nacos（Name and Configuration Service）是阿里巴巴开源的动态服务发现、配置管理和服务管理平台，专为云原生应用和微服务架构设计。它于 2018 年开源，2020 年成为 Apache 顶级项目（TLP），是 Java 微服务生态中最为流行的注册中心与配置中心之一。 Nacos 官方站： 核心四大能力： 1. 服务发现与健康检查…
cubestudio 是腾讯音乐（TME）开源的一站式云原生机器学习/深度学习/大模型 AI 平台，覆盖从数据标注、模型训练、任务编排、分布式推理到模型市场的 MLOps 全流程。 它是腾讯音乐内部多年沉淀的生产级平台首次对外开源，目标是为中大型团队提供一个开箱即用、功能全面的企业级 AI 基础设施，同时特别注重对国产硬件（昇腾 NPU）和国产软件生态的支持…
vsouza/awesomeios 是 iOS/macOS/tvOS/watchOS 开发生态最全的「精华库列表」，由开发者 Victor Souza 维护。它汇集了 Swift 和 ObjectiveC 生态里优质的框架、库、工具和教程，按功能领域分类整理，是 iOS 开发者查找第三方依赖的首选参考。 仓库 Star 数超过 52,000，拥有 150+ …
DataJuicer（简称 DJ）是一个为 foundation model 时代打造的数据操作系统，专注于将混乱的原始数据转化为 AI 可用的精炼数据。它把数据处理看成是可组合的基础设施，提供模块化的构建块来完成清洗、合成和分析，覆盖 AI 全生命周期的数据处理需求。 用大白话说：它是一个超大型数据处理工具箱，内置 200+ 算子（Operator），可以…
内容待复核
enaqx/awesome-react · 上手攻略
awesomereact 是 GitHub 上最知名的 React 生态资源列表之一，由维护者 enaqx 长期运营（仓库创建于 React 尚在 Beta 阶段的早期）。它收录了 React 生态中各类工具、库、框架的链接，按功能分类整理，涵盖从基础学习资料到生产级组件库、从状态管理到动画、从测试工具到渲染器的完整技术栈。 本质上是 React 生态的导航…
Flash Linear Attention（简称 fla）是一个专注于高效线性注意力（Linear Attention）机制实现的开源库，底层基于 Triton 编写，在 NVIDIA / AMD / Intel 硬件上均做过硬件对齐验证。 它的核心价值在于：把学术界和工业界近年来提出的各种次二次复杂度（Subquadratic）序列建模架构——线性注意力…
OpenVINO™（Open Visual Inference and Neural Network Optimization）是 Intel 开源的 AI 推理优化与部署工具包，核心目标是把训练好的深度学习模型快速部署到 Intel 硬件上，并获得接近硬件上限的推理性能。它并非训练框架，而是推理runtime + 模型优化工具链的组合。 其支持硬件覆盖 x…
kuchin/awesomecto（Stars 35,175，周增 +28）是一个精选的 CTO / VP R&D 资源列表，由 Dima Kuchin（一位真实的 CTO）维护，专门面向初创公司和高速增长企业。仓库名虽然叫 awesomecto，但实际内容覆盖从技术管理者（CTO、VP Engineering）到初创公司运营的完整知识图谱，不只是给 CTO…
NVIDIA/MegatronLM（Stars 17,034，周增 +35）是 NVIDIA 开源的大规模 Transformer 模型训练框架，包含两个核心组件： 通俗说：这是 NVIDIA 官方出品、经过生产级别验证的大模型训练基础设施，让你在数千块 GPU 上高效训练从 2B 到 462B 参数的模型。 uv pip install megatronc…
nanovllm 是一个从零实现的高效 vLLM 复刻项目，作者希望用约 1200 行干净可读的 Python 代码展示 vLLM 的核心原理。它不是 vLLM 的分支或包装，而是一个独立的精简实现，API 设计与 vLLM 保持高度兼容，同时内置了 Prefix Caching、Tensor Parallelism、Torch Compilation、CU…
OpenSquilla 是一个token 高效的微内核 AI Agent 框架，核心理念是"同等预算，更多能力"（Same budget, more capability）。它用一个本地模型路由器（SquillaRouter）自动把每个对话回合路由到「最便宜且能胜任」的模型，同时配备持久记忆、分层沙箱、内置网页搜索和端侧 Embedding，所有入口（Web…
goose 是一个用 Rust 编写的开源 AI Agent，提供桌面应用、CLI 和 API 三种形态，支持 15+ LLM 提供商（Anthropic、OpenAI、Google、Ollama、OpenRouter、Azure、Bedrock 等），并通过 Model Context Protocol（MCP）连接 70+ 扩展。 它由 Linux Fo…
Graphiti 是由 Zep 团队开源的时序上下文图谱框架（Temporal Context Graph Engine），专为 AI Agent 设计。与传统的静态知识图谱或 RAG 方案不同，Graphiti 能持续追踪实体和关系随时间的变化——每条事实都有"有效期窗口"，信息更新时旧事实被标记失效而非删除，保留完整历史。这使得 Graphiti 特别适…
HappyLLM 是 Datawhale 团队推出的系统性大模型学习教程，定位介于"科普"和"科研"之间，目标是授之以鱼，更授之以渔。它从 NLP 基本研究方法讲起，沿着 LLM 的思路和原理逐层深入，最终带领读者用 PyTorch 从零实现一个 LLaMA2 模型，并完成预训练、有监督微调（SFT）和 LoRA/QLoRA 高效微调的全流程。 与其姐妹项目…
dstack 是一个厂商无关的 GPU 供给与编排控制平面，支持在任意 GPU 云、Kubernetes 集群和裸机服务器上统一运行训练、推理和 Agentic 工作负载。它用一套简洁的 YAML 配置（CLI / API / UI）替代了多套云控制台和运维脚本，让 GPU 资源的管理从「到处点鼠标」变成「声明式配置 + 一键部署」。 dstack 原生支持…
LMCache 是一个KV Cache 管理中间件层，专为 LLM 推理场景设计。它的核心思路是把 GPU VRAM 中转瞬即逝的 KV Cache 变成可持久化、可复用、可监控的 AI 原生存储，从而显著降低 TTFT（Time To First Token，首 token 延迟），提升多轮对话和 Agentic Workload 的吞吐量。 典型工作场景…
Khoj 是一个开源的个人 AI 助手（自称 "Your AI second brain"），核心功能是让你用自己的文档（PDF、Markdown、Notion、Word、orgmode 等）创建一个可对话的知识库，同时支持连接任意 LLM（本地 Ollama 或云端 GPT/Claude/Gemini/DeepSeek）。它可以部署在个人电脑上完全离线运行…
agenticawesomeskills 是一个可安装的 AI 编程助手 Skill 库，收录 1,946+ 个可复用的 SKILL.md 工作流剧本，支持 Claude Code、Cursor、Codex CLI、Autohand Code、Gemini CLI、Antigravity、Kiro、OpenCode、GitHub Copilot 等主流 AI…
内容待复核
aishwaryanr/awesome-generative-ai-guide · 上手攻略
这是一个由 Aishwarya Naresh Reganti（AWS ML 专家）维护的 Generative AI 综合性学习资源库。它的定位不是某个工具或框架的使用指南，而是一站式 AI 学习路径导航——涵盖大语言模型基础、提示工程、微调、RAG、Agent 开发、模型评估、面试准备、免费课程、论文精读，以及一系列成体系的学习路线图（Roadmap）。 …
Plano 是一个构建在 Envoy 代理之上的 AI 原生数据平面（Data Plane）与代理服务器，专为 Agentic Application（智能体应用）设计。它的核心思路是：把 Agent 开发中反复出现的"管道工作"（路由、编排、安全过滤、可观测性）从业务代码中抽离出来，放到一个独立进程里处理，让你专注在 Agent 的核心业务逻辑上。 简单说…
Onyx 是 LLM 的应用层——一个功能丰富的开源 AI 平台，支持自托管。它让团队通过 RAG（检索增强生成）、深度研究、自定义 Agent、代码执行、Web 搜索、MCP 等高级能力，把 LLM 接入真实工作流。 核心定位：企业级 AI 平台（类 ChatGPT + RAG + Deep Research + Agents），可一键部署，适合需要数据隐…
Kong（Kong Gateway）是云原生、平台无关的可扩展 API & AI 网关，以高性能和通过插件的强扩展性著称。它不仅是传统 API 网关（代理、路由、负载均衡、健康检查、认证），还提供高级 AI 流量管理能力，包括多 LLM 提供商支持、MCP 流量安全与分析，以及 60+ AI 相关功能（语义缓存、语义路由、安全防护等）。 核心定位：统一 AP…
Colibrì（意大利语"蜂鸟"）是一个纯 C 语言编写的轻量推理引擎，可以在只有约 25 GB 内存的消费级机器上运行 GLM5.2——一个 7440 亿参数的混合专家（MoE）大模型。它完全不使用 Python 运行时，不依赖 BLAS 或 GPU，通过磁盘流式加载专家权重将不可能变为可能：仅 9.9 GB 常驻内存，让一台普通电脑跑上前沿级大模型。 项…
Kotaemon 是一个开源的 RAG 文档问答 UI 工具，专注于为文档提供「聊天式问答」体验。它的目标是同时服务两类用户： 核心特点：干净的界面 + 混合检索 + 强引用展示 + 多模态文档支持。 有大量技术文档/论文/合同，想基于这些文档向 AI 提问 需要 AI 的回答有明确的文档来源引用，不能胡编 需要处理包含图表、表格、LaTeX 公式的复杂 P…
FastGPT 是一个基于大语言模型的知识库问答与应用编排平台，提供完整的开箱即用能力：数据处理、RAG 检索、可视化 AI 工作流编排，让用户无需深度配置即可快速开发和部署复杂的问答系统。 它的核心定位是：企业级 RAG 应用平台，强调知识库管理与可视化流程编排的结合。相比单纯的知识库工具，FastGPT 多了工作流编排和 Agent 编排能力；相比纯 A…
atomicagents 是一个以"原子化"为设计哲学的轻量级模块化 Agent 框架，基于 Instructor 和 Pydantic 构建。所有 Agent 组件（Agent、Tool、Context Provider）均为单一职责、可复用、可组合的"原子"单元，通过标准化的输入/输出 Schema 将它们像乐高积木一样拼装成完整 AI 应用，MIT 许…