Laya 是一个非自回归的 System 1 决策引擎：给定一段文本（邮件、工单、对话、JSON 文档），在一次前向传播内输出强类型的判断结果，而不是让 LLM 自由生成文本再做解析。 它支持三种「类型化决策」输出： 仓库自带三个 Hub checkpoint + 一个自动路由的 Router： | Checkpoint | 编码器 | 参数量 | 上下文 …
仓库攻略
11 篇 · 11 个项目 · LLM 基础设施 · 安全与风险
⚠️ 本文所有命令与版本基于公开 README 与 NVIDIA 技术博客 20260709 复现表（PyPI 包名 datadesigner，复现版本 0.1.5），未经本机实跑；任何对 config_builder / ModelConfig API 的引用若与 README 冲突，以官方 docs.nvidia.com/nemo/datadesigne…
内容待复核
nick7nlp/Awesome-LLM-On-Policy-Distillation · 上手攻略
一个面向 LLM「OnPolicy Distillation（OPD，在策略蒸馏）」主题的 curated 论文清单与配套综述生态。仓库本体是持续维护的论文列表与导航站，附带三件产出： 1. 一篇 70+ 篇 OPD 论文的 survey（arXiv:2604.00626，V4 / 20260618 发布）； 2. 一个 OPDHub 静态检索站：按章节、l…
llmsandbox 是一个面向 LLM 生成代码的轻量级、可移植的沙箱运行时 Python 库。它把"AI 写的代码跑在哪里、怎么隔离、怎么回收产物"这一整套工程问题封装成统一的 SandboxSession API，避免每个 Agent 项目都自己塞一遍 Docker / Kubernetes 调用。 仓库自身定位是"代码解释器后端"——OpenAI 的…
Krasis 是一个混合 LLM 推理运行时，专注于在消费级显存受限的 NVIDIA GPU 上高效运行数百亿参数级别的 MoE（Mixture of Experts）大模型。它的核心设计目标是：让一张或两张普通游戏显卡（如 RTX 5090 32 GB、RTX PRO 6000 96 GB）就能跑得动原本需要 H100/A100 才能加载的千亿参数模型。 …
Open Model Zoo 是 Intel 维护的预训练深度学习模型仓库，为 OpenVINO™ Toolkit 提供大量已优化模型和演示程序。包含 200+ 模型，覆盖目标检测、图像分类、图像分割、姿态估计、语音识别、文本转语音等主流 CV 任务，并配有可直接运行的 C++ / Python Demo 示例。 模型分为两大类： Intel 预训练模型（m…
Bionic GPT 是一个自托管（onpremise）的 ChatGPT 替代品，定位企业内部的私有生成式 AI 平台。它用 Rust 写了一个高性能 Web Server，把 RAG、文档解析、模型路由、鉴权、审计、可观测性这些通常要自己拼装的"内部 ChatGPT 必备件"打包成一个可直接落到 Kubernetes 上的完整栈。 它不是单一服务，而是按…
RapidMLX 是目前 Apple Silicon 上速度最快的本地 AI 推理引擎，专为 M 系列芯片优化，基于 Apple MLX 框架重写所有核心 kernel，纯 Metal GPU 加速，无任何 llama.cpp 回退或 Python 桥接层。相比同场景的 Ollama，吞吐量提升约 4.2 倍，首 token 时间（TTFT）可低至 0.08…
AwesomeLLMOps 是由 tensorchord 团队维护的 GitHub 精选列表（Awesome List），收录了 LLMOps（Large Language Model Operations）领域的优质工具、项目和资源。截至 2026 年 7 月已累计 5879 Stars，周增 +7，是目前最活跃的 LLMOps 专题列表之一。 LLMOp…
官方维护的 Amazon SageMaker 示例笔记本仓库，由 AWS SageMaker 团队直接管理。它不是 SDK 本身，而是 SageMaker 各功能（数据准备、训练、推理、监控、Feature Store、SageMakerCore、Studio 等）的 可运行 Jupyter Notebook 示范集合，覆盖从 XGBoost 入门到大规模分…
LiteLLM 是一个统一调用 100+ 大模型 API 的 Python 库 + AI Gateway（代理服务器），用 OpenAI 格式作为统一接口，抹平各 provider（OpenAI、Anthropic、Gemini、Bedrock、Azure、HuggingFace、VLLM、NVIDIA NIM 等）的 API 差异，同时提供成本追踪、虚拟 …