诚实标注 ⚠️：以下内容在本次抓取时未独立跑通——所有速度数字（93/74/2,170 tok/s 等）来自 README 自家基准；Coder "SWEbench Verified 91% / LiveCodeBench 99%" 来自 ISTADASLab 模型卡声称；AMD RDNA4 实验性标记来自 setup backend hip；"Experi…
仓库攻略
22 篇 · 22 个项目 · LLM 基础设施 · spark
| 维度 | 实测 | ||| | 字数 CJK | ~2,500（正文）| | ⚠️ 密度 | ≥1.0/1K 字符 | | §1 三段式（机制 / 数据 / 截止日证伪）| 已落地 | | 诚实标注局限性段 | ≥1 处（§六）| | §八 工程节坑点数 | 6 处 | | 反方 v2 三段式 ≥4 主线 | ≥4 | | 立标池 4 件套（GitHub…
Laya 是一个非自回归的 System 1 决策引擎：给定一段文本（邮件、工单、对话、JSON 文档），在一次前向传播内输出强类型的判断结果，而不是让 LLM 自由生成文本再做解析。 它支持三种「类型化决策」输出： 仓库自带三个 Hub checkpoint + 一个自动路由的 Router： | Checkpoint | 编码器 | 参数量 | 上下文 …
⚠️ 本文所有命令与版本基于公开 README 与 NVIDIA 技术博客 20260709 复现表（PyPI 包名 datadesigner，复现版本 0.1.5），未经本机实跑；任何对 config_builder / ModelConfig API 的引用若与 README 冲突，以官方 docs.nvidia.com/nemo/datadesigne…
workbuddymanager 是一套给「腾讯 CodeBuddy 账号池」做 Web 可视化与运营的配套控制台。它不替代上游 workbuddy2api（Go 写的 OpenAI 兼容反代，负责账号轮询 / 并发调度 / 熔断 / 令牌刷新），而是在它前面再加一层"看得见、管得动"的面板：扫码批量纳管账号、自动签到、多密钥分发、IP 管控、调用日志、用量…
OmniStudio 是一个本地优先的大模型一体化桌面工作台，由「鲲鹏Talk」开发并以 MIT 协议开源。它把"模型从哪里来、用什么引擎跑、怎么用起来"三件事收进一个 Electronlike 桌面应用（基于 Electrobun + Bun），把"模型市集下载、推理引擎管理、对话、语音、图片、视频、OCR、翻译、本地 RAG、共享记忆、MCP、Skill…
内容待复核
nick7nlp/Awesome-LLM-On-Policy-Distillation · 上手攻略
一个面向 LLM「OnPolicy Distillation（OPD，在策略蒸馏）」主题的 curated 论文清单与配套综述生态。仓库本体是持续维护的论文列表与导航站，附带三件产出： 1. 一篇 70+ 篇 OPD 论文的 survey（arXiv:2604.00626，V4 / 20260618 发布）； 2. 一个 OPDHub 静态检索站：按章节、l…
llmsandbox 是一个面向 LLM 生成代码的轻量级、可移植的沙箱运行时 Python 库。它把"AI 写的代码跑在哪里、怎么隔离、怎么回收产物"这一整套工程问题封装成统一的 SandboxSession API，避免每个 Agent 项目都自己塞一遍 Docker / Kubernetes 调用。 仓库自身定位是"代码解释器后端"——OpenAI 的…
humanizetext 是 lynoteai 维护的「AI 文本人类化」开源 Python 工具包。它本质上是把「让 AI 生成文本读起来更像人写的」这件事拆成两条路径： 4 套参考实现（v1.0 沉淀）：翻译链、多轮 LLM 改写、检测器反馈循环、混合引擎翻译。 1 套标准流水线（v1.5.1 现行生产推荐版）：把方法 1（翻译链）+ 方法 2（LLM …
版本说明：仓库 README 中没有写死顶层版本号，文档站 inference.roboflow.com/using_inference/about 自称 "Inference 1.0"，PyPI 上 inferencesdk 的最新轮转版本为 1.3.x（如 1.3.7）——下面的命令以当前 README 与 PyPI 通用写法为准，不写死小版本号，使用 …
提示：仓库 README、API 文档链接均指向 ort 2.0 系列，本攻略以当前 main 分支为准（最新示例分支标签为 v2.0.0rc.13，来自仓库 docs 与 examples 中给出的克隆命令）。若你看到更新 rc tag，请以 crates.io 与 docs.rs 的最新版为准。 ort 是 Rust 生态里跑 ONNX 模型的主流 cr…
提示：上游仓库标识写作 openvinotoolkit/openvino_notebooks（带下划线），按本攻略规则计算的文件 slug 为 openvinotoolkitopenvinonotebooks.md。下文中如出现"OpenVINO 2026.2"等版本号，均来自仓库当前 README，未在外部二次确认。 openvino_notebooks …
huggingface/optimum 是 Hugging Face 推出的 Transformers / Diffusers / TIMM / SentenceTransformers 的硬件优化扩展库。它把"同一套 HF 模型"映射到多种推理后端与训练硬件上，让用户用同一份 API 跑出"在目标硬件上的极限性能"——既负责 导出（ONNX、OpenVIN…
XNNPACK 是 Google 官方维护的 神经网络推理算子库（C11 / C++17 / Python 3），专为 ARM、x86、WebAssembly、RISCV、Hexagon 等 CPU 类硬件优化浮点（FP16 / FP32）以及量化（INT8 / perchannel、perrow）推理。仓库明说「not intended for direc…
huggingface.js 是 Hugging Face 官方维护的 JavaScript / TypeScript 工具套件，本身是个 monorepo，里面按职责拆分成了若干独立发布的 npm 包： @huggingface/hub：与 huggingface.co 交互——创建/删除仓库、上传/下载/列出文件、提交 commit。覆盖 Model /…
torchao（即 pytorch/ao 仓库发布的 PyPI 包名）是 PyTorch 官方主推的 原生量化与稀疏化库，主打「训练推理一致」「一行代码改动即可接入」，覆盖从权重量化（int4/int8/fp8/NF4）、激活量化、2:4 稀疏、低比特 optimizer（4bit/8bit/fp8 AdamW）、量化感知训练（QAT），到 float8 预…
Bionic GPT 是一个自托管（onpremise）的 ChatGPT 替代品，定位企业内部的私有生成式 AI 平台。它用 Rust 写了一个高性能 Web Server，把 RAG、文档解析、模型路由、鉴权、审计、可观测性这些通常要自己拼装的"内部 ChatGPT 必备件"打包成一个可直接落到 Kubernetes 上的完整栈。 它不是单一服务，而是按…
官方维护的 Amazon SageMaker 示例笔记本仓库，由 AWS SageMaker 团队直接管理。它不是 SDK 本身，而是 SageMaker 各功能（数据准备、训练、推理、监控、Feature Store、SageMakerCore、Studio 等）的 可运行 Jupyter Notebook 示范集合，覆盖从 XGBoost 入门到大规模分…
NVIDIA Triton Inference Server 是 NVIDIA 开源的"模型推理服务化"系统。和 TensorRT 关注"单模型怎么跑得最快"不同，Triton 关注的是"一堆模型怎么稳定高效地对外提供服务"——它把 TensorRT、PyTorch、ONNX Runtime、OpenVINO、Python、RAPIDS FIL 等多个推理后…
NVIDIA TensorRT 是 NVIDIA 官方的高性能深度学习推理 SDK，主要做一件事：把训练好的模型（来自 PyTorch / TensorFlow / ONNX 等）编译并优化成针对 NVIDIA GPU 高度调优的运行时引擎（engine），从而在生产中获得最低延迟和最高吞吐。 GitHub 上 NVIDIA/TensorRT 仓库是 Ten…
poloclub/transformerexplainer 是佐治亚理工 Polo Club of Data Science 维护的交互式 Transformer 教学工具。在浏览器里跑一个完整的 GPT2 模型（@xenova/transformers v2.17.1 + onnxruntimeweb v1.23.0 + onnx），用户输入任意文本，工具…
FinGPT 是由 AI4Finance Foundation 维护的开源金融大语言模型（Financial LLM）项目，目标是把大模型能力下沉到金融领域，覆盖数据采集 → 数据清洗 → 模型微调 → 应用部署的全链路。它不是单一模型，而是一整套生态： FinGPTForecaster：基于新闻 + 价格的个股走势预测机器人，对标道琼斯 30 成分股，附带…