KVPress 是 NVIDIA 出品的 KV Cache 压缩工具包，通过在 prefilling 阶段对注意力层的 KeyValue 缓存做选择性剪枝，把大上下文模型的显存占用压到原来的几分之一。全程无需训练、即装即用，支持 14+ 种压缩算法统一评测 pipeline。核心价值：让 128K~1M token 的长上下文推理在消费级 / 单卡服务器上变…
仓库攻略
58 篇 · 58 个项目 · LLM 基础设施 · Agent 智能体
dshourfreemodel 是一个 DeepSeek Harness（dsh）插件，装上之后不需要登录、不需要注册、不需要填任何 API Key，就能直接使用包括 Muse Spark 1.3、MiMo V2.6 在内的前沿大模型——完全免费，不限量。 它的工作原理是在 dsh 的插件系统里挂载一个模型转发层，所有请求经过 OpenCode 的 Zen …
诚实标注 ⚠️：以下内容在本次抓取时未独立跑通——所有速度数字（93/74/2,170 tok/s 等）来自 README 自家基准；Coder "SWEbench Verified 91% / LiveCodeBench 99%" 来自 ISTADASLab 模型卡声称；AMD RDNA4 实验性标记来自 setup backend hip；"Experi…
ODS（Osmantic Deployment System）将 Ollama、Open WebUI、n8n、ComfyUI 等多个开源 AI 组件一键打包成本地 AI 服务器。一条命令把 PC / Mac / Linux 变成私有 AI 工作站：本地推理、聊天界面、控制面板、语音 / Agent / 工作流、RAG 本地搜索、图片生成，全部无需云端、不用订…
Laya 是一个非自回归的 System 1 决策引擎：给定一段文本（邮件、工单、对话、JSON 文档），在一次前向传播内输出强类型的判断结果，而不是让 LLM 自由生成文本再做解析。 它支持三种「类型化决策」输出： 仓库自带三个 Hub checkpoint + 一个自动路由的 Router： | Checkpoint | 编码器 | 参数量 | 上下文 …
DeepSeekV4.1Flash 是 DeepSeek 于 2026 年 9 月 10 日 正式发布的开源多模态 MoE 大模型，是 DeepSeek 新架构家族的最小成员。它在 9 月 14 日已接管原 deepseekv4pro 的全部流量，成为 DeepSeek API 的主力模型。模型以 MIT 协议开源权重，同时通过 DeepSeek 官方 AP…
yibie/awesomejev 是 Jev 生态的社区精选实战案例合集，由个人维护（owner 为 yibie），聚焦「谁在生产里真的用 Jev 做了决策」这个问题。它不是 SDK，也不是工具库，而是一份按应用域分类的场景索引——把散落在 GitHub Issues、Twitter/X 讨论、博客、工程帖里的 Jev 实战案例收拢成册，供开发者快速扫描「别…
⚠️ 本文所有命令与版本基于公开 README 与 NVIDIA 技术博客 20260709 复现表（PyPI 包名 datadesigner，复现版本 0.1.5），未经本机实跑；任何对 config_builder / ModelConfig API 的引用若与 README 冲突，以官方 docs.nvidia.com/nemo/datadesigne…
awesometypesafe 是一个关于 TypeSafe AI（System One / Jev 模型）生态的精选资源列表，由社区维护（与 TypeSafe 公司无附属关系）。 TypeSafe 的核心产品是 Jev——一个专门做「结构化决策」的模型：不给自由文本，而是返回类型化的概率决策（Choice 多选一、Score 打分、Noul 二选一）。这个…
SemIf（Semantic Ifs）是一个用开源 LLM 直接读取 typed option logits做运行时决策的开源工具。它让模型在单次前向传播内直接输出选项概率，而无需生成文本再解析——"不要 token，只要 logits"。 原名 OpenJev，后改名 SemIf，是独立研究项目，非 Jev / TypeSafe 官方。Jev 是 Type…
OpenJev 是一个开源项目，试图在消费级 GPU（RTX 3090）上复现 TypeSafe 的 Jev 服务——一种语义决策操作符（semantic decision operator）。它的核心思路是：不让模型生成文本，而是直接读取模型在固定 answer token 上的 logits，经过一次 softmax 得到每个选项的概率。 ⚠️ 本仓库复…
OmniStudio 是一个本地优先的大模型一体化桌面工作台，由「鲲鹏Talk」开发并以 MIT 协议开源。它把"模型从哪里来、用什么引擎跑、怎么用起来"三件事收进一个 Electronlike 桌面应用（基于 Electrobun + Bun），把"模型市集下载、推理引擎管理、对话、语音、图片、视频、OCR、翻译、本地 RAG、共享记忆、MCP、Skill…
这是一个在 34 台 NVIDIA DGX Spark 节点上通过 SGLang 部署 DeepSeekV4.1Flash 模型的生产级推理方案。模型以 MXFP4 稀疏专家 + FP8 密集权重运行，KV Cache 由 NVMe + 统一内存共同支撑，提供 OpenAI 兼容的 /v1/chat/completions 接口，支持 Tool Callin…
一个开箱即用的部署配方（recipe），用于在单台 NVIDIA DGX Spark（GB10，121 GiB 统一内存）上通过 vLLM 服务 Qwen3.8FlashNextNVFP4 大模型。 核心工程挑战：Qwen3.8FlashNext 原版 FP8 权重约 135 GB，单台 Spark 只有 128 GB 统一内存，直接跑会 OOM。这个配方通…
OpenInference 是一个基于 OpenTelemetry 标准的 AI 应用追踪（tracing）工具集，由 Arize 团队维护。它定义了 LLM 调用、向量检索、工具使用等场景的语义约定（semantic conventions），并提供各主流 AI 框架的插桩（instrumentation）库，让 AI 应用能像传统微服务一样输出标准化的 …
一个在 2× NVIDIA GB10（DGX Sparks） 上通过 vLLM 以 EXL3 4bit 量化Serving zaiorg/GLM5.3Flash 的开源配方。核心目标是用 ~164 GiB 的量化权重在消费级双 GB10 机器上跑起百万 token 上下文的 GLM5.3Flash，并附带 DFlash2 投机解码（k=7）加速。 简单说：让…
AwesomeAIGCTutorials 是一个人工策划的 AIGC 学习资源合集，按主题分为 Large Language Models（LLM）、AI Painting、AI Audio、Multimodal、Deep Learning、AI System 等大类，收录大学课程（Stanford CS324、CMU 11667 等）、行业培训（DeepL…
AwesomeAGI 是一个中文 AGI（通用人工智能）学习资源汇总仓库，持续更新，收录大语言模型（LLM）、AIGC（AI 生成内容）相关的论文、教程、工具、项目和数据集。按内容形态分为五大模块： 本质上这是一个用 README.md 维护的中文 AI 学习地图，按主题分类整理了社区主流资源，适合作为"遇到某个方向不知道看什么"时的第一站。 AGI / L…
内容待复核
nick7nlp/Awesome-LLM-On-Policy-Distillation · 上手攻略
一个面向 LLM「OnPolicy Distillation（OPD，在策略蒸馏）」主题的 curated 论文清单与配套综述生态。仓库本体是持续维护的论文列表与导航站，附带三件产出： 1. 一篇 70+ 篇 OPD 论文的 survey（arXiv:2604.00626，V4 / 20260618 发布）； 2. 一个 OPDHub 静态检索站：按章节、l…
NoteGen 是一款本地优先的 Markdown AI 笔记应用，核心理念是"先捕获，后整理"——把灵感、语音、图片、链接等各种碎片先一股脑存下来，回头再挑选素材组织成结构化笔记。它不是要替代你的 Markdown 编辑器，而是给普通 Markdown 文件加上 AI 聚合、智能搜索和知识库的能力。 GitHub Stars：12685（数据截至 2026…
llmsandbox 是一个面向 LLM 生成代码的轻量级、可移植的沙箱运行时 Python 库。它把"AI 写的代码跑在哪里、怎么隔离、怎么回收产物"这一整套工程问题封装成统一的 SandboxSession API，避免每个 Agent 项目都自己塞一遍 Docker / Kubernetes 调用。 仓库自身定位是"代码解释器后端"——OpenAI 的…
dshroutingsuite 是一个聚合套装，由两个独立维护的组件构成，专门解决「DSH 运行时缺乏任务感知思维模式路由」的问题。它不是一个独立的 AI Agent，而是 DSH（DeepSeek Host）生态的运行时增强层。 核心组成： | 组件 | 仓库 | 版本 | 职能 | ||||| | injector/ | dshsuperinjector…
freebuffproxy 是一个本地网关，把 FreeBuff/Codebuff 的免费 AI 编程模型（deepseekv4flash 等）以 OpenAI 兼容接口（/v1/chat/completions）暴露给任意工具——OpenCode、pi、9router、LiteLLM 或自己的脚本。 它的核心价值是"翻译 + 池化 + 隐匿"： FreeB…
PromptEngineeringGuideChinese（Prompt 工程师指南中文版）是由 wangxuqi 维护的中文翻译项目，翻译自 DAIR.AI 的英文原版 dairai/PromptEngineeringGuide（Stars 77.3k+）。原版是目前最全面、最活跃的 Prompt 工程开源教程，涵盖从基础概念到高级技巧的完整知识体系。 本…
MetaMCP 是一个 MCP（Model Context Protocol）代理基础设施，集 MCP 服务器聚合（Aggregator）、编排（Orchestrator）、中间件（Middleware）、网关（Gateway）于一个 Docker 容器。它的核心定位是：让你不必逐个管理多个 MCP 服务器，而是把它们聚合成一个统一端点，再对外暴露。 技术本…
DecryptPrompt 是一个大模型提示词/Agent/RAG/LLM 全栈知识图谱，收录 Prompt 论文、开源模型、推理框架、SFT/RLHF 数据集、AIGC 应用案例等多个维度的资源。更重要的是，作者维护了一个持续更新的"解密Prompt"系列博客（65+ 篇），每篇包含论文串讲+代码实现，覆盖从 Prompt Tuning 到 RLHF、Ag…
NVIDIA/GenerativeAIExamples 是 NVIDIA 官方的生成式 AI 参考工作流仓库，针对加速基础设施（GPU/NIM 微服务）做了深度优化，涵盖 RAG 管道、Agentic 工作流、知识图谱、视觉 NIM 工作流、Data Flywheel 完整闭环等场景。当前最新 release 为 v0.8.x（2025 年），目录结构已完成…
humanizetext 是 lynoteai 维护的「AI 文本人类化」开源 Python 工具包。它本质上是把「让 AI 生成文本读起来更像人写的」这件事拆成两条路径： 4 套参考实现（v1.0 沉淀）：翻译链、多轮 LLM 改写、检测器反馈循环、混合引擎翻译。 1 套标准流水线（v1.5.1 现行生产推荐版）：把方法 1（翻译链）+ 方法 2（LLM …
AgentENV（简称 AENV）是 Kimi K3 模型背后用于大规模运行 Agent 执行环境的分布式平台，由 kvcacheai 团队开源。它的核心职责是：在大规模集群上同时调度成千上万个轻量级隔离沙盒（基于 Firecracker microVM），按需加载 OCI 镜像，让每个 Agent 任务在独立、可快启、可快停的环境中运行。 类比来说：如果 …
OptiLLM 是一个OpenAI API 兼容的推理优化代理（inference proxy），通过在推理时（inferencetime）应用 20+ 种推理优化技术，在不需要任何训练或微调的情况下，将 LLM 在数学、代码、逻辑推理任务上的准确率提升 210 倍。 它的核心思路是：在现有 API 调用层加一层代理，对请求进行后处理（优化推理路径），再转发…