OpenLIT 是一个开源的 AI Engineering 平台，定位是"一站式把 LLM 应用从实验推到生产"。它把 OpenTelemetry 当作统一底座，向上提供 6 类核心能力： 1. 可观测性 SDK（Python / TypeScript / Go）：对 50+ LLM provider、VectorDB、Agent 框架、GPU 做自动埋点（…
仓库攻略
51 篇 · 51 个项目 · spark · 工程化
这是 Decoding AI 杂志社出品的开源实战课程仓库，教你从零搭建一个"Second Brain AI 助手" —— 让你的 Notion / 网页笔记 / 文档作为个人知识库，配合 agent + RAG + 微调 + LLMOps，做出一个能聊你自己的笔记的生产级 AI 助手。MIT 协议、纯 Jupyter Notebook + Python、最…
ChainForge 是一个给 LLM prompt 做对抗测试的开源可视化编程环境（visual programming environment），学术出身 —— 作者 Ian Arawjo 在 Harvard HCI 组做博后期间发表（CHI 2024 论文 "ChainForge: A Visual Toolkit for Prompt Enginee…
LoRAX（LoRA eXchange）是 Predibase 开源的 多 LoRA 适配器推理服务器，目标是在一张 GPU 上同时服务成百上千个微调后的 LLM，而吞吐和延迟几乎不打折。它通过"动态加载适配器 + 异构连续批处理 + 适配器交换调度"三大机制，让一份基座模型（如 Mistral7B、Llama3、Qwen）被数千个不同任务的 LoRA 适配…
VLMEvalKit（Python 包名 vlmeval）由上海人工智能实验室 OpenCompass 团队开源，是大型视觉语言模型（LVLM / VLM）的事实标准评估工具包。它的口号是 "一命令评测 220+ LVLM、80+ benchmark" —— 用户只写一个 generate_inner()，剩下的数据下载、预处理、推理、metric 全部由框…
lmmseval（Python 包名 lmmseval，前身为 LMMsEval）是 EvolvingLMMsLab 维护的"统一多模态大模型评估工具包"。目标只有一个：让"同一个模型 + 同一个 benchmark + 同一套参数"在两台机器上跑出来数字一致，并且能覆盖文本、图像、视频、音频四大模态的 100+ 任务、30+ 模型后端。 它脱胎于 Eleu…
llmtwincourse 是 Decoding AI Magazine（Paul Iusztin & Alex Vesa 团队）开源的免费工程课，目标是从零搭建一个能"模仿你写作风格"的生产级 LLM Twin —— 一套完整的端到端 LLM + RAG 系统，覆盖数据采集、CDC 同步、实时特征工程、SFT 微调、RAG 推理、Prompt 监控全部 6…
opendilab/awesomeRLHF 是上海人工智能实验室 OpenDILab 维护的 "RLHF 精选资源列表"，延续 awesome 系列的策展风格：把强化学习与人类反馈（Reinforcement Learning from Human Feedback）相关论文、代码库、数据集、博客、图书按时间线（2020 及以前 → 2026）梳理成一份可阅…
rasbt/reasoningfromscratch 是 Sebastian Raschka（Build a Large Language Model (From Scratch) 的作者）出版的第二本 Manning 图书 Build a Reasoning Model (From Scratch) 的官方配套代码仓库。整本书/仓库的目标是：从一个已经预训…
ThuThesis 是清华大学 TUNA 协会维护的官方 LaTeX 学位论文模板，覆盖本科综合论文训练、学术型/专业型硕士、博士、博士后出站报告全部学位类型，并已支持苏世民书院变体。它不是一份空白样式文件，而是一整套 .cls + .def + .bib 配套的工程：从封面、声明页、授权页、中英文摘要、目录、章节、图表公式序号、参考文献（BibLaTeX …
Agent Starter Pack（ASP） 是 Google Cloud 官方出的 生产级 GenAI Agent 模板项目：用 Python 包形式提供一整套「Agent + 后端 + 前端 + 部署基础设施 + 监控 + CI/CD」的项目骨架，让开发者只关心 agent 业务逻辑。 它支持多种 agent 框架 / 模式（自带模板）： 重要变更：R…
官方维护的 Amazon SageMaker 示例笔记本仓库，由 AWS SageMaker 团队直接管理。它不是 SDK 本身，而是 SageMaker 各功能（数据准备、训练、推理、监控、Feature Store、SageMakerCore、Studio 等）的 可运行 Jupyter Notebook 示范集合，覆盖从 XGBoost 入门到大规模分…
pandoclatextemplate 是 Wandmalfarbe 维护的 pandoc LaTeX 模板（代号 Eisvogel），目标是让你的 Markdown 直接转出"看起来像正式出版物 / 讲义"的 PDF 或 .tex，免去手写 LaTeX 模板的痛苦。 模板自带： 自定义封面页（可指定背景色、字体色、logo、整页背景图） 整本可读的正文页（…
mcpagent 是 Lastmile AI 开源的、专门面向 Model Context Protocol（MCP） 的 Python Agent 框架。它的基本立场是："MCP 就够了，简单的可组合模式比花哨架构更稳"。它围绕一个 MCPApp 运行时来注册 Agent、MCP 服务器、工具和工作流，把 Anthropic 那篇「Building Eff…
NVIDIA Triton Inference Server 是 NVIDIA 开源的"模型推理服务化"系统。和 TensorRT 关注"单模型怎么跑得最快"不同，Triton 关注的是"一堆模型怎么稳定高效地对外提供服务"——它把 TensorRT、PyTorch、ONNX Runtime、OpenVINO、Python、RAPIDS FIL 等多个推理后…
OpenUI 是 Weights & Biases（W&B）开源的一款"用自然语言描述 UI，立刻看到渲染结果"的工具。你可以输入"一个带搜索框的暗色 dashboard，顶部有用户头像"，它会输出实时预览的 HTML/Svelte/React/Web Components；你可以继续用对话让它改样式、加组件、把生成的代码一键转成 React 等多端实现。官…
zoterostyle（中文社区里常叫 "Ethereal Style"）是作者 MuiseDestiny 用 windingwind/zoteroplugintemplate 写出来的 Zotero 文献管理器样式增强插件。它在 Zotero 的条目列表（item table）上重做 / 新增一批「列」，把文献管理与阅读状态变成视觉化、可一眼扫的东西，包括…
holaOS 是 Holaboss 团队开源的一个「本地优先（localfirst）AI 工作桌面」运行时与桌面 App（基于 Electron + TypeScript，底层 Node 24.14.1），主打"超级工作 Agent（super agent for work）"——把 Gmail、Slack、Notion、GitHub、Jira、Linear…
poloclub/transformerexplainer 是佐治亚理工 Polo Club of Data Science 维护的交互式 Transformer 教学工具。在浏览器里跑一个完整的 GPT2 模型（@xenova/transformers v2.17.1 + onnxruntimeweb v1.23.0 + onnx），用户输入任意文本，工具…
zotero/zotero 是开源文献管理软件 Zotero 的官方桌面客户端源码仓库，AGPLv3 许可。Zotero 由乔治梅森大学 Roy Rosenzweig 历史与新媒体中心孵化的非营利项目开发，自 2006 年起持续维护，被视为学术写作场景里 Mendeley、EndNote 的主要免费替代品。仓库里既有 C++ 写成的桌面应用（基于 Mozil…
Memvid 是一个"单文件 AI 记忆层"（singlefile memory layer）项目，目标是把 LLM Agent 需要的"长期记忆 + 检索"打包成一个可拷贝、可分享、可版本管理的 .mv2 文件，从而彻底替代传统 RAG 链路里的向量数据库 + 检索服务。 它用了一种"借鉴视频编码"的有趣思路：把每条记忆存为一个不可变的 Smart Fra…