仓库攻略

MOSS（MultiOmni Scale System）是复旦大学开源的工具增强型对话语言模型，具有 160 亿参数（16B），支持中英双语、多轮对话，以及插件调用能力（搜索、文生图、计算器、解方程）。 该项目开源内容包括： 本质上，这是一个可以调用工具的中文 ChatGPT 风格模型，可以在本地私有部署，参数规模比 GPT4 小但远大于早期开源 7B 模型…

mcpagent 是 Lastmile AI 开源的、专门面向 Model Context Protocol（MCP） 的 Python Agent 框架。它的基本立场是："MCP 就够了，简单的可组合模式比花哨架构更稳"。它围绕一个 MCPApp 运行时来注册 Agent、MCP 服务器、工具和工作流，把 Anthropic 那篇「Building Eff…

Evidently 是一个开源的 ML 和 LLM 可观测性（Observability）框架，用 Python 编写，用于评估、测试和监控 AI 系统——从传统机器学习模型到生成式 LLM 应用均可覆盖。 核心能力： 离线评测（Reports）：一次性评估模型或数据质量，输出交互式 HTML 报告或 JSON。 测试套件（Test Suites）：在 CI…

NapMem（Navigate over Pyramid Memory）是阿里巴巴 Qwen 团队与多所高校在 2026 年 7 月 7 日联合发布的论文提出的框架，核心思想是：把长期用户记忆从被动检索变成 Agent 可主动探索的结构化动作空间。 目前主流的记忆系统（如 Mem0、Zep、MemoryBank）都是被动 RAG 模式——检索组件从数据库捞取…

NVIDIA TensorRT 是 NVIDIA 官方的高性能深度学习推理 SDK，主要做一件事：把训练好的模型（来自 PyTorch / TensorFlow / ONNX 等）编译并优化成针对 NVIDIA GPU 高度调优的运行时引擎（engine），从而在生产中获得最低延迟和最高吞吐。 GitHub 上 NVIDIA/TensorRT 仓库是 Ten…

这是一份由南京大学 MIG 实验室（NJUMiG）维护的多模态大语言模型（Multimodal Large Language Models，MLLM）前沿论文合集，截至 2026 年 7 月已收录 17.9k+ Stars，是 MLLM 领域最全面、最活跃的社区驱动的学术索引之一。 它不是代码库，而是一个持续更新的知识库，系统整理了 MLLM 各个子方向的论…

llmaction 是一个中文大模型技术博客式知识库，由独立作者维护，系统整理了大模型从训练到推理、从微调到部署的全链路技术内容。仓库以 Markdown 文件为主，通过 GitHub + 知乎/掘金文章链接提供深度教程，涵盖 LLM 预训练、SFT、RLHF、分布式训练、推理优化、量化、评测等几乎所有核心环节。适合想系统了解大模型工程实战的工程师和研究人员…

Coze Loop 是字节跳动 Coze（扣子）平台推出的AI Agent 全生命周期运营平台，最近将核心模块开源（Apache 2.0）。它解决的是 AI Agent 开发过程中"写 Prompt → 调试 → 评估效果 → 上线监控"这一整条链路的工程化问题。 开源版提供三大核心能力：Prompt 开发和调试（Playground）、自动化评估（Eval…

Metaflow 是 Netflix 于 2019 年开源的人类中心化 ML/AI 系统框架，用 Python 编写，目标是让数据科学家和工程师能够从笔记本快速原型开发无缝过渡到可靠的生产部署。它覆盖了 AI/ML 项目全生命周期：实验跟踪、数据管理、模型版本控制、水平/垂直扩展，以及一键部署到生产编排器。 Netflix 内部有超过 3000 个 AI/M…

Giskard 是一个开源 Python 库，专为测试和评估 AI Agent 系统而设计，由法国团队 GiskardAI 维护。它经历了从 v2 到 v3 的重大重写：v3 采用模块化架构，将功能拆分为 giskardchecks（轻量测试）、giskardscan（红队漏洞扫描）和规划中的 giskardrag（RAG 评估）三个独立包，去掉了 v2 中…

akullpp/awesomejava 是 GitHub 上历史最久、影响力最大的 Java 生态 Awesome List 之一，由 @akullpp 长期维护，标准 awesomere 徽章挂顶。它不是一款软件、不是框架，而是一份按主题分类、持续更新的 Java 库/工具精选目录。 仓库当前定位：「A curated list of awesome Ja…

awesomeshell 是 GitHub 上最权威的命令行工具精选列表，由 alebcay 维护，灵感来自 awesomephp。它将数百款优秀的命令行框架、工具库、指南和小玩意按类别组织起来，帮助 Shell 用户快速发现和筛选适合自己工作流的命令行利器。 截至 2026 年中，该仓库已积累约 37,000+ Stars，是命令行工具领域的标杆 Awes…

ncnn 是腾讯开源的高性能神经网络推理框架，专门针对移动端、嵌入式设备和桌面端场景优化。它的核心特点是无第三方运行时依赖（pure C++ 实现）、支持 CPU 和 Vulkan GPU 双后端，可将 PyTorch / ONNX 模型直接部署到手机、PC、浏览器或边缘设备上。 腾讯内部已大规模落地：QQ、Qzone、微信、天天 P 图等产品均在用。 最新…

elizaOS/eliza 是一个开源、本地优先的 AI Agent 操作系统。它由两部分组成： Eliza（应用层）：面向桌面、移动端、Web 的 AI 助手，支持聊天、语音、消息账户集成、个人大脑、非托管钱包、浏览器自动化和本地模型。 elizaOS（运行时/OS 层）：同一个运行时可以接管整台设备，从 USB 启动 Linux 桌面，或在 Androi…

Semble 是一个专为 AI Coding Agent 打造的代码搜索库，核心理念是：让 Agent 用自然语言提问，直接返回最相关的代码片段，全程不需要读取完整文件、不需要 grep，用比 grep+read 少约 98% 的 token 完成精准代码检索。 它本质上是一个本地代码语义索引工具：给 Semble 一个代码仓库，它会建立语义索引；Agent…

rustunofficial/awesomerust 是 Rust 生态中最老牌、最全面的资源聚合列表，由社区维护，GitHub 星标数超过 5.8 万。它不是一个代码库，而是一张 Rust 世界的地图——收录了 Rust 语言相关的应用程序、库、开发工具、学习资源，覆盖从入门到生产级项目的全链路。 该列表按照「应用程序 → 开发工具 → 库 → 资源 → …

OpenLLMetry（发音「openLLmetry」）是基于 OpenTelemetry 的开源 LLM 应用可观测性工具，由 Y Combinator 支持的 Traceloop 公司开发和维护（Apache 2.0 许可）。 它的核心思路：用 OpenTelemetry 标准采集 LLM 应用的全链路追踪数据，无需更换你现有的可观测性基础设施（Data…

BISHENG（毕昇）是一款开源 LLM 应用开发平台，主攻企业级场景，由国内公司 DataElement 开发维护。"毕昇"取自活字印刷术发明人，寓意"让智能应用像知识传播一样普惠"。平台融合了 Workflow 编排、RAG、Agent、模型管理、数据集管理、评估、SFT 微调、文档解析、观测等企业 AI 所需的全套能力，已被多家行业头部组织和世界 50…

awesomeLLMresources 是由 WangRongsheng（王荣胜）维护的大语言模型（LLM）优质资源汇总仓库，目前 8.6K+ Stars。它自称"全世界最好的LLM资料总结"，涵盖从数据处理、微调、Agent 开发、推理优化、RAG、模型评测到多模态（小语言模型、视觉语言模型）等全链路内容，并持续更新。 这不是一个代码工具库，而是一个持续更…

NVIDIA/MegatronLM（Stars 17,034，周增 +35）是 NVIDIA 开源的大规模 Transformer 模型训练框架，包含两个核心组件： 通俗说：这是 NVIDIA 官方出品、经过生产级别验证的大模型训练基础设施，让你在数千块 GPU 上高效训练从 2B 到 462B 参数的模型。 uv pip install megatronc…

nanovllm 是一个从零实现的高效 vLLM 复刻项目，作者希望用约 1200 行干净可读的 Python 代码展示 vLLM 的核心原理。它不是 vLLM 的分支或包装，而是一个独立的精简实现，API 设计与 vLLM 保持高度兼容，同时内置了 Prefix Caching、Tensor Parallelism、Torch Compilation、CU…

cheatoncontent 是一个内容创作实验系统，用 AI 把每一次发帖变成一次"可量化、可复盘、可进化"的校准实验。它不是帮你写内容的 AI，而是帮你建立创作者判断力的工具。 作者自称用它从零做到 100 万粉丝，用法核心是：写之前先打分 → 发布后 3 天复盘 → 用数据迭代评分公式。 大多数创作者困在一个低效循环里： 发布 → 看数据 → 什么也没…

NirDiamant/agentstowardsproduction 是一个端到端、代码优先的 GenAI Agent 生产化教程仓库，由 AI 教育博主 Nir Diamant 维护（LinkedIn 粉丝众多，RAG Techniques Newsletter 作者）。目前收录 28 个生产级教程，覆盖从原型到企业级部署的完整链路。 每个教程都是独立文件…

LMCache 是一个KV Cache 管理中间件层，专为 LLM 推理场景设计。它的核心思路是把 GPU VRAM 中转瞬即逝的 KV Cache 变成可持久化、可复用、可监控的 AI 原生存储，从而显著降低 TTFT（Time To First Token，首 token 延迟），提升多轮对话和 Agentic Workload 的吞吐量。 典型工作场景…

Memvid 是一个"单文件 AI 记忆层"（singlefile memory layer）项目，目标是把 LLM Agent 需要的"长期记忆 + 检索"打包成一个可拷贝、可分享、可版本管理的 .mv2 文件，从而彻底替代传统 RAG 链路里的向量数据库 + 检索服务。 它用了一种"借鉴视频编码"的有趣思路：把每条记忆存为一个不可变的 Smart Fra…

FinGPT 是由 AI4Finance Foundation 维护的开源金融大语言模型（Financial LLM）项目，目标是把大模型能力下沉到金融领域，覆盖数据采集 → 数据清洗 → 模型微调 → 应用部署的全链路。它不是单一模型，而是一整套生态： FinGPTForecaster：基于新闻 + 价格的个股走势预测机器人，对标道琼斯 30 成分股，附带…

Khoj 是一个开源的个人 AI 助手（自称 "Your AI second brain"），核心功能是让你用自己的文档（PDF、Markdown、Notion、Word、orgmode 等）创建一个可对话的知识库，同时支持连接任意 LLM（本地 Ollama 或云端 GPT/Claude/Gemini/DeepSeek）。它可以部署在个人电脑上完全离线运行…

agenticawesomeskills 是一个可安装的 AI 编程助手 Skill 库，收录 1,946+ 个可复用的 SKILL.md 工作流剧本，支持 Claude Code、Cursor、Codex CLI、Autohand Code、Gemini CLI、Antigravity、Kiro、OpenCode、GitHub Copilot 等主流 AI…

funNLP 是一个中文 NLP 工具与资源的大集合，由 NLP 从业者「fighting41love」整理维护。GitHub Stars 超过 81k，周增 +77（数据截至 20260713），最后提交 20240510。仓库并非一个独立的 Python 包，而是按主题分类的资源索引：每个条目都是一个真实的开源项目、数据集或工具，包含名称、描述和 Git…

这是一个由 Aishwarya Naresh Reganti（AWS ML 专家）维护的 Generative AI 综合性学习资源库。它的定位不是某个工具或框架的使用指南，而是一站式 AI 学习路径导航——涵盖大语言模型基础、提示工程、微调、RAG、Agent 开发、模型评估、面试准备、免费课程、论文精读，以及一系列成体系的学习路线图（Roadmap）。 …