llmsandbox 是一个面向 LLM 生成代码的轻量级、可移植的沙箱运行时 Python 库。它把"AI 写的代码跑在哪里、怎么隔离、怎么回收产物"这一整套工程问题封装成统一的 SandboxSession API，避免每个 Agent 项目都自己塞一遍 Docker / Kubernetes 调用。 仓库自身定位是"代码解释器后端"——OpenAI 的…
仓库攻略
15 篇 · 15 个项目 · LLM 基础设施 · spark
humanizetext 是 lynoteai 维护的「AI 文本人类化」开源 Python 工具包。它本质上是把「让 AI 生成文本读起来更像人写的」这件事拆成两条路径： 4 套参考实现（v1.0 沉淀）：翻译链、多轮 LLM 改写、检测器反馈循环、混合引擎翻译。 1 套标准流水线（v1.5.1 现行生产推荐版）：把方法 1（翻译链）+ 方法 2（LLM …
版本说明：仓库 README 中没有写死顶层版本号，文档站 inference.roboflow.com/using_inference/about 自称 "Inference 1.0"，PyPI 上 inferencesdk 的最新轮转版本为 1.3.x（如 1.3.7）——下面的命令以当前 README 与 PyPI 通用写法为准，不写死小版本号，使用 …
提示：仓库 README、API 文档链接均指向 ort 2.0 系列，本攻略以当前 main 分支为准（最新示例分支标签为 v2.0.0rc.13，来自仓库 docs 与 examples 中给出的克隆命令）。若你看到更新 rc tag，请以 crates.io 与 docs.rs 的最新版为准。 ort 是 Rust 生态里跑 ONNX 模型的主流 cr…
提示：上游仓库标识写作 openvinotoolkit/openvino_notebooks（带下划线），按本攻略规则计算的文件 slug 为 openvinotoolkitopenvinonotebooks.md。下文中如出现"OpenVINO 2026.2"等版本号，均来自仓库当前 README，未在外部二次确认。 openvino_notebooks …
huggingface/optimum 是 Hugging Face 推出的 Transformers / Diffusers / TIMM / SentenceTransformers 的硬件优化扩展库。它把"同一套 HF 模型"映射到多种推理后端与训练硬件上，让用户用同一份 API 跑出"在目标硬件上的极限性能"——既负责 导出（ONNX、OpenVIN…
XNNPACK 是 Google 官方维护的 神经网络推理算子库（C11 / C++17 / Python 3），专为 ARM、x86、WebAssembly、RISCV、Hexagon 等 CPU 类硬件优化浮点（FP16 / FP32）以及量化（INT8 / perchannel、perrow）推理。仓库明说「not intended for direc…
huggingface.js 是 Hugging Face 官方维护的 JavaScript / TypeScript 工具套件，本身是个 monorepo，里面按职责拆分成了若干独立发布的 npm 包： @huggingface/hub：与 huggingface.co 交互——创建/删除仓库、上传/下载/列出文件、提交 commit。覆盖 Model /…
torchao（即 pytorch/ao 仓库发布的 PyPI 包名）是 PyTorch 官方主推的 原生量化与稀疏化库，主打「训练推理一致」「一行代码改动即可接入」，覆盖从权重量化（int4/int8/fp8/NF4）、激活量化、2:4 稀疏、低比特 optimizer（4bit/8bit/fp8 AdamW）、量化感知训练（QAT），到 float8 预…
Bionic GPT 是一个自托管（onpremise）的 ChatGPT 替代品，定位企业内部的私有生成式 AI 平台。它用 Rust 写了一个高性能 Web Server，把 RAG、文档解析、模型路由、鉴权、审计、可观测性这些通常要自己拼装的"内部 ChatGPT 必备件"打包成一个可直接落到 Kubernetes 上的完整栈。 它不是单一服务，而是按…
官方维护的 Amazon SageMaker 示例笔记本仓库，由 AWS SageMaker 团队直接管理。它不是 SDK 本身，而是 SageMaker 各功能（数据准备、训练、推理、监控、Feature Store、SageMakerCore、Studio 等）的 可运行 Jupyter Notebook 示范集合，覆盖从 XGBoost 入门到大规模分…
NVIDIA Triton Inference Server 是 NVIDIA 开源的"模型推理服务化"系统。和 TensorRT 关注"单模型怎么跑得最快"不同，Triton 关注的是"一堆模型怎么稳定高效地对外提供服务"——它把 TensorRT、PyTorch、ONNX Runtime、OpenVINO、Python、RAPIDS FIL 等多个推理后…
NVIDIA TensorRT 是 NVIDIA 官方的高性能深度学习推理 SDK，主要做一件事：把训练好的模型（来自 PyTorch / TensorFlow / ONNX 等）编译并优化成针对 NVIDIA GPU 高度调优的运行时引擎（engine），从而在生产中获得最低延迟和最高吞吐。 GitHub 上 NVIDIA/TensorRT 仓库是 Ten…
poloclub/transformerexplainer 是佐治亚理工 Polo Club of Data Science 维护的交互式 Transformer 教学工具。在浏览器里跑一个完整的 GPT2 模型（@xenova/transformers v2.17.1 + onnxruntimeweb v1.23.0 + onnx），用户输入任意文本，工具…
FinGPT 是由 AI4Finance Foundation 维护的开源金融大语言模型（Financial LLM）项目，目标是把大模型能力下沉到金融领域，覆盖数据采集 → 数据清洗 → 模型微调 → 应用部署的全链路。它不是单一模型，而是一整套生态： FinGPTForecaster：基于新闻 + 价格的个股走势预测机器人，对标道琼斯 30 成分股，附带…