ncnn 是腾讯开源的高性能神经网络推理框架，专门针对移动端、嵌入式设备和桌面端场景优化。它的核心特点是无第三方运行时依赖（pure C++ 实现）、支持 CPU 和 Vulkan GPU 双后端，可将 PyTorch / ONNX 模型直接部署到手机、PC、浏览器或边缘设备上。 腾讯内部已大规模落地：QQ、Qzone、微信、天天 P 图等产品均在用。 最新…
仓库攻略
540 篇 · 535 个项目 · LLM 基础设施
vsouza/awesomeios 是 iOS/macOS/tvOS/watchOS 开发生态最全的「精华库列表」，由开发者 Victor Souza 维护。它汇集了 Swift 和 ObjectiveC 生态里优质的框架、库、工具和教程，按功能领域分类整理，是 iOS 开发者查找第三方依赖的首选参考。 仓库 Star 数超过 52,000，拥有 150+ …
holaOS 是 Holaboss 团队开源的一个「本地优先（localfirst）AI 工作桌面」运行时与桌面 App（基于 Electron + TypeScript，底层 Node 24.14.1），主打"超级工作 Agent（super agent for work）"——把 Gmail、Slack、Notion、GitHub、Jira、Linear…
DataJuicer（简称 DJ）是一个为 foundation model 时代打造的数据操作系统，专注于将混乱的原始数据转化为 AI 可用的精炼数据。它把数据处理看成是可组合的基础设施，提供模块化的构建块来完成清洗、合成和分析，覆盖 AI 全生命周期的数据处理需求。 用大白话说：它是一个超大型数据处理工具箱，内置 200+ 算子（Operator），可以…
PocketFlowTutorialCodebaseKnowledge 是一个基于 PocketFlow（100 行 LLM 框架）的代码库知识库生成工具。给它一个 GitHub 仓库，它会爬取代码、自动分析代码结构、识别核心抽象和它们之间的交互，然后生成一份初学者友好的教程网页（Markdown + HTML），附带可视化说明。 本质上是把"读懂一个陌生代…
内容待复核
enaqx/awesome-react · 上手攻略
awesomereact 是 GitHub 上最知名的 React 生态资源列表之一，由维护者 enaqx 长期运营（仓库创建于 React 尚在 Beta 阶段的早期）。它收录了 React 生态中各类工具、库、框架的链接，按功能分类整理，涵盖从基础学习资料到生产级组件库、从状态管理到动画、从测试工具到渲染器的完整技术栈。 本质上是 React 生态的导航…
poloclub/transformerexplainer 是佐治亚理工 Polo Club of Data Science 维护的交互式 Transformer 教学工具。在浏览器里跑一个完整的 GPT2 模型（@xenova/transformers v2.17.1 + onnxruntimeweb v1.23.0 + onnx），用户输入任意文本，工具…
OpenLLMetry（发音「openLLmetry」）是基于 OpenTelemetry 的开源 LLM 应用可观测性工具，由 Y Combinator 支持的 Traceloop 公司开发和维护（Apache 2.0 许可）。 它的核心思路：用 OpenTelemetry 标准采集 LLM 应用的全链路追踪数据，无需更换你现有的可观测性基础设施（Data…
BISHENG（毕昇）是一款开源 LLM 应用开发平台，主攻企业级场景，由国内公司 DataElement 开发维护。"毕昇"取自活字印刷术发明人，寓意"让智能应用像知识传播一样普惠"。平台融合了 Workflow 编排、RAG、Agent、模型管理、数据集管理、评估、SFT 微调、文档解析、观测等企业 AI 所需的全套能力，已被多家行业头部组织和世界 50…
Flash Linear Attention（简称 fla）是一个专注于高效线性注意力（Linear Attention）机制实现的开源库，底层基于 Triton 编写，在 NVIDIA / AMD / Intel 硬件上均做过硬件对齐验证。 它的核心价值在于：把学术界和工业界近年来提出的各种次二次复杂度（Subquadratic）序列建模架构——线性注意力…
OpenVINO™（Open Visual Inference and Neural Network Optimization）是 Intel 开源的 AI 推理优化与部署工具包，核心目标是把训练好的深度学习模型快速部署到 Intel 硬件上，并获得接近硬件上限的推理性能。它并非训练框架，而是推理runtime + 模型优化工具链的组合。 其支持硬件覆盖 x…
内容待复核
WangRongsheng/awesome-LLM-resources · 上手攻略
awesomeLLMresources 是由 WangRongsheng（王荣胜）维护的大语言模型（LLM）优质资源汇总仓库，目前 8.6K+ Stars。它自称"全世界最好的LLM资料总结"，涵盖从数据处理、微调、Agent 开发、推理优化、RAG、模型评测到多模态（小语言模型、视觉语言模型）等全链路内容，并持续更新。 这不是一个代码工具库，而是一个持续更…
kuchin/awesomecto（Stars 35,175，周增 +28）是一个精选的 CTO / VP R&D 资源列表，由 Dima Kuchin（一位真实的 CTO）维护，专门面向初创公司和高速增长企业。仓库名虽然叫 awesomecto，但实际内容覆盖从技术管理者（CTO、VP Engineering）到初创公司运营的完整知识图谱，不只是给 CTO…
NVIDIA/MegatronLM（Stars 17,034，周增 +35）是 NVIDIA 开源的大规模 Transformer 模型训练框架，包含两个核心组件： 通俗说：这是 NVIDIA 官方出品、经过生产级别验证的大模型训练基础设施，让你在数千块 GPU 上高效训练从 2B 到 462B 参数的模型。 uv pip install megatronc…
awesomereactcomponents 是一个精选的 React 优秀组件库导航列表（awesome list），由 Vike 框架作者 @brillout 和 Fluxguard 作者 @petebray 维护。 与普通组件列表不同，这里的"awesome"有明确标准： 解决真实问题，不只是 Demo 玩具 独特、优雅或出色的实现，非烂大街的常见轮子…
Dyad 是一个本地运行、开源免费的 AI 应用构建工具（v0 / Lovable / Replit / Bolt 的开源替代）。用户通过自然语言描述需求，Dyad 自动生成完整的全栈应用代码，全程在本地机器运行，不依赖云端平台，不锁死生态，代码完全属于你自己。 支持 macOS 和 Windows，下载即可使用，无需注册。 1. 前往官网下载页面： 2. …
chatanywhere/GPT_API_free 是一个免费中转 API 服务，让国内用户无需科学上网即可调用 OpenAI GPT 系列、DeepSeek、Claude（Anthropic 官方协议）、Gemini、Qwen、Kimi、GLM、Minimax 等主流大模型的 API 接口。项目提供免费 API Key（每日限额），也支持付费 Key 获取…
nanovllm 是一个从零实现的高效 vLLM 复刻项目，作者希望用约 1200 行干净可读的 Python 代码展示 vLLM 的核心原理。它不是 vLLM 的分支或包装，而是一个独立的精简实现，API 设计与 vLLM 保持高度兼容，同时内置了 Prefix Caching、Tensor Parallelism、Torch Compilation、CU…
OpenSquilla 是一个token 高效的微内核 AI Agent 框架，核心理念是"同等预算，更多能力"（Same budget, more capability）。它用一个本地模型路由器（SquillaRouter）自动把每个对话回合路由到「最便宜且能胜任」的模型，同时配备持久记忆、分层沙箱、内置网页搜索和端侧 Embedding，所有入口（Web…
awesomecheatsheets 是一个精心编制的编程语言、框架和开发工具速查表合集。每个主题一张表，涵盖"你应该在脑子里记住的所有关键知识点"，文件形式有 .md、.sh、.js、.php 等，直接对应各语言/工具的实际用法。 46k+ Stars，是 awesome 家族中最实用的工具类列表之一。 | 类别 | 速查表 | ||| | 命令行 | B…
goose 是一个用 Rust 编写的开源 AI Agent，提供桌面应用、CLI 和 API 三种形态，支持 15+ LLM 提供商（Anthropic、OpenAI、Google、Ollama、OpenRouter、Azure、Bedrock 等），并通过 Model Context Protocol（MCP）连接 70+ 扩展。 它由 Linux Fo…
Graphiti 是由 Zep 团队开源的时序上下文图谱框架（Temporal Context Graph Engine），专为 AI Agent 设计。与传统的静态知识图谱或 RAG 方案不同，Graphiti 能持续追踪实体和关系随时间的变化——每条事实都有"有效期窗口"，信息更新时旧事实被标记失效而非删除，保留完整历史。这使得 Graphiti 特别适…
HappyLLM 是 Datawhale 团队推出的系统性大模型学习教程，定位介于"科普"和"科研"之间，目标是授之以鱼，更授之以渔。它从 NLP 基本研究方法讲起，沿着 LLM 的思路和原理逐层深入，最终带领读者用 PyTorch 从零实现一个 LLaMA2 模型，并完成预训练、有监督微调（SFT）和 LoRA/QLoRA 高效微调的全流程。 与其姐妹项目…
llmforzotero 是一个Zotero 阅读器插件，将大语言模型直接嵌入 Zotero 的 PDF 阅读界面，让你可以直接在 Zotero 里和论文对话、做摘要、查证据、比对多篇文献，并把研究笔记导出到 Obsidian、Logseq 等本地知识库。 简单说：Zotero 里的 ChatPDF，但不只是 Chat——还能自动整理进你的 PKM 系统。 …
FinRobot 是 AI4Finance Foundation 推出的开源金融 AI Agent 平台，旨在将大语言模型（LLM）与金融分析深度融合，用多 Agent 协作替代传统的单一模型方案。 它的核心理念是：数字靠代码计算，叙事靠 LLM 辅助，每一步输出都可溯源。所有财务估值（DCF、DDM、LBO、WACC、可比公司法等）都通过确定性 Pytho…
小智 AI 聊天机器人（XiaoZhi AI Chatbot）是 78（虾哥 / 稚晖君相关开源圈里非常活跃的一位）维护的 ESP32 端开源语音对话固件。它的定位是「一个 30–80 元硬件就能跑的、可以用 Qwen / DeepSeek 等大模型驱动的语音助手」，并且通过 MCP（Model Context Protocol）把设备本身的能力和云端能力都…
Context7 是由 Upstash 团队（推 Redis / Vector / QStash 的那家）开源并维护的「MCP 文档服务」。它把 GitHub 上常见开源库的 README、官方文档、版本说明抓取、解析、切片成一个可被 LLM 检索的索引，然后通过 Model Context Protocol（MCP）暴露给 Cursor、Claude Co…
Canner/WrenAI 是 开源 GenBI（Generative BI）引擎，核心能力是让 AI Agent 通过自然语言生成可信的 SQL 查询、可治理的业务仪表盘。它不是简单的 texttoSQL 工具——它通过一层开放 Context Layer（MDL 语义模型），把业务定义、数据血缘、查询记忆等「业务知识」注入 Agent 的推理过程，从根本…
GoogleCloudPlatform/generativeai 是 Google 官方维护的 Google Cloud 生成式 AI 示例代码库，收录 Gemini 模型调用、RAG、Agent Build、搜索增强、视觉生成、音频处理等全场景的 Jupyter Notebook 和代码示例。截至 202607 仍保持活跃更新（最近提交 20260710）…
NirDiamant/agentstowardsproduction 是一个端到端、代码优先的 GenAI Agent 生产化教程仓库，由 AI 教育博主 Nir Diamant 维护（LinkedIn 粉丝众多，RAG Techniques Newsletter 作者）。目前收录 28 个生产级教程，覆盖从原型到企业级部署的完整链路。 每个教程都是独立文件…