NoteGen 是一款本地优先的 Markdown AI 笔记应用，核心理念是"先捕获，后整理"——把灵感、语音、图片、链接等各种碎片先一股脑存下来，回头再挑选素材组织成结构化笔记。它不是要替代你的 Markdown 编辑器，而是给普通 Markdown 文件加上 AI 聚合、智能搜索和知识库的能力。 GitHub Stars：12685（数据截至 2026…
仓库攻略
14 篇 · 14 个项目 · LLM 基础设施 · tom · RAG 检索增强
everychatgptgui 是一个持续更新的开源 AI 客户端清单，由开发者 billmei 维护，专门收集整理全球所有可对接 ChatGPT API（以及 Claude、Gemini 等主流 LLM）的图形界面客户端。仓库本身不是客户端，而是一个精选导航列表，按平台分为 Web、浏览器扩展、Obsidian 插件、桌面应用、自托管方案等大类，每个条目包…
GPT4All 是由 Nomic AI 开发的开源本地大模型运行工具，核心目标是让任何人在不需要 GPU、不需要 API key、不需要云服务的情况下，在自己的电脑（笔记本、台式机）上跑大语言模型（LLM）。 本质上是基于 llama.cpp 的工程封装，提供三件套： 桌面应用（GPT4All Desktop）：图形界面聊天，支持 LocalDocs（本地文…
MaxText 是 Google AIHypercomputer 团队开源的高性能、高可扩展 LLM 训练与后训练库，全部用纯 Python/JAX 编写，目标是 TPU 和 NVIDIA GPU 上的高效分布式训练与微调。官方于 20250915 发布 PyPI 包，当前稳定版本 0.2.3（2026 年初）。 MaxText 的定位是"LLM 项目发射台…
PromptEngineeringGuideChinese（Prompt 工程师指南中文版）是由 wangxuqi 维护的中文翻译项目，翻译自 DAIR.AI 的英文原版 dairai/PromptEngineeringGuide（Stars 77.3k+）。原版是目前最全面、最活跃的 Prompt 工程开源教程，涵盖从基础概念到高级技巧的完整知识体系。 本…
DecryptPrompt 是一个大模型提示词/Agent/RAG/LLM 全栈知识图谱，收录 Prompt 论文、开源模型、推理框架、SFT/RLHF 数据集、AIGC 应用案例等多个维度的资源。更重要的是，作者维护了一个持续更新的"解密Prompt"系列博客（65+ 篇），每篇包含论文串讲+代码实现，覆盖从 Prompt Tuning 到 RLHF、Ag…
NVIDIA/GenerativeAIExamples 是 NVIDIA 官方的生成式 AI 参考工作流仓库，针对加速基础设施（GPU/NIM 微服务）做了深度优化，涵盖 RAG 管道、Agentic 工作流、知识图谱、视觉 NIM 工作流、Data Flywheel 完整闭环等场景。当前最新 release 为 v0.8.x（2025 年），目录结构已完成…
AwesomeLLMOps 是由 tensorchord 团队维护的 GitHub 精选列表（Awesome List），收录了 LLMOps（Large Language Model Operations）领域的优质工具、项目和资源。截至 2026 年 7 月已累计 5879 Stars，周增 +7，是目前最活跃的 LLMOps 专题列表之一。 LLMOp…
MOSS（MultiOmni Scale System）是复旦大学开源的工具增强型对话语言模型，具有 160 亿参数（16B），支持中英双语、多轮对话，以及插件调用能力（搜索、文生图、计算器、解方程）。 该项目开源内容包括： 本质上，这是一个可以调用工具的中文 ChatGPT 风格模型，可以在本地私有部署，参数规模比 GPT4 小但远大于早期开源 7B 模型…
OpenLLMetry（发音「openLLmetry」）是基于 OpenTelemetry 的开源 LLM 应用可观测性工具，由 Y Combinator 支持的 Traceloop 公司开发和维护（Apache 2.0 许可）。 它的核心思路：用 OpenTelemetry 标准采集 LLM 应用的全链路追踪数据，无需更换你现有的可观测性基础设施（Data…
vLLMOmni 是 vLLM 社区推出的全模式（omnimodality）推理框架，将 vLLM 的高性能 LLM 推理能力扩展到任意到任意的多模态模型——不只是理解图像/视频/音频，而是能同时生成多种模态的输出（文本+图像+视频+音频）。 支持的输出类型： 一句话概括：vLLM 在多模态生成领域的扩展，让研究者和企业能用生产级性能跑 OmniModali…
微软官方出品的 21 节生成式 AI 入门课程，覆盖从 LLM 基础理论到 AI Agent 开发完整路径。每节包含讲解视频（YouTube）+ 文字课程 + Python/TypeScript 双语言代码示例，并配套 50+ 语言的社区翻译。Stars 约 112k，是微软 GitHub 最受欢迎的教育类仓库之一。 课程默认使用 Azure OpenAI …
Rig 是用 Rust 构建模块化、可扩展 LLM 应用的库。它提供了一套统一抽象，覆盖 20+ 大模型提供商、10+ 向量数据库，并内置 Agent 编排、RAG、工具调用、多轮对话等能力，全部用 Rust 的类型安全和并发性能加持。 解决什么问题： 在 Rust 生态里，之前缺乏一个统一、好用的 LLM 应用抽象层。开发者要么自己封装各个 Provide…
AirLLM 是一个开源 Python 库，实现了一种层间加载（layerwise）推理技术，让超大语言模型在显存极小的 GPU（甚至只有 4GB VRAM 的卡）上运行推理，无需量化、无需蒸馏、无需剪枝。 核心技术原理：用单层加载替代全量加载。传统推理需要把 130GB 的 70B 模型一股脑塞进显存；AirLLM 把模型按 transformer 层拆开…