jevchatjarvismac 是一个macOS 悬浮窗助手，专门为聊天场景设计：当聊天应用（微信 / QQ）收到消息时，它立刻读取屏幕内容，用本地模型判断发送者的真实意图和风险等级，再生成候选回复供你一键复制或填入输入框。整套流程纯本地运行，不截图、不 OCR 解密数据库、不注入任何内容——只是"看屏幕 + 本地模型判断"。 核心定位：把"对方这句话到底…
仓库攻略
23 篇 · 23 个项目 · LLM 基础设施 · tom · 多模态
Kev 是一个小尺寸的决策模型（Decision Model）家族，基于 Qwen3.5 基座构建，架构思路来自 Jev（见 Jev's Architecture Unmasked）。它用 LoRA adapter + pointer head 的方式，让你可以在自己的机器上训练和运行私有化决策模型，返回的不是自由文本，而是类型化的概率决策——支持二选一（n…
SemIf（Semantic Ifs）是一个用开源 LLM 直接读取 typed option logits做运行时决策的开源工具。它让模型在单次前向传播内直接输出选项概率，而无需生成文本再解析——"不要 token，只要 logits"。 原名 OpenJev，后改名 SemIf，是独立研究项目，非 Jev / TypeSafe 官方。Jev 是 Type…
OpenJev 是一个开源项目，试图在消费级 GPU（RTX 3090）上复现 TypeSafe 的 Jev 服务——一种语义决策操作符（semantic decision operator）。它的核心思路是：不让模型生成文本，而是直接读取模型在固定 answer token 上的 logits，经过一次 softmax 得到每个选项的概率。 ⚠️ 本仓库复…
这是一个在 34 台 NVIDIA DGX Spark 节点上通过 SGLang 部署 DeepSeekV4.1Flash 模型的生产级推理方案。模型以 MXFP4 稀疏专家 + FP8 密集权重运行，KV Cache 由 NVMe + 统一内存共同支撑，提供 OpenAI 兼容的 /v1/chat/completions 接口，支持 Tool Callin…
Rubric 是一个 Schemafirst 结构化提取库：你定义一个 Zod schema，它把这个 schema 挂到 LLM 请求上，从回复中抽出 JSON，校验其是否符合 schema，不符合就自动 reask（重问），直到返回合规结果或重试次数耗尽。 核心能力：定义 schema → 提取 JSON → 校验 → reask 循环（最多 3 次），…
一个开箱即用的部署配方（recipe），用于在单台 NVIDIA DGX Spark（GB10，121 GiB 统一内存）上通过 vLLM 服务 Qwen3.8FlashNextNVFP4 大模型。 核心工程挑战：Qwen3.8FlashNext 原版 FP8 权重约 135 GB，单台 Spark 只有 128 GB 统一内存，直接跑会 OOM。这个配方通…
AwesomeAIGCTutorials 是一个人工策划的 AIGC 学习资源合集，按主题分为 Large Language Models（LLM）、AI Painting、AI Audio、Multimodal、Deep Learning、AI System 等大类，收录大学课程（Stanford CS324、CMU 11667 等）、行业培训（DeepL…
MindPipe 是一个统一的 LLM/VLM 模型压缩评估框架，用单一 main.py CLI 驱动 11 种量化方法、7 种剪枝方法、压缩微调联合流程，以及 PPL / lmevalharness 零样本 / VLMEvalKit 多模态三类评估。核心设计理念是：一次配置，全流程可复现。 ⚠️ 注意：本仓库同时支持 NVIDIA GPU 和华为昇腾 NP…
Intel Neural Compressor 是 Intel 开源的模型压缩库，专注于 LLM/VLM 的低比特量化（Lowbit Quantization），覆盖 INT8、FP8、MXFP8、MXFP4、INT4、NVFP4 等多种低精度数据类型，支持 PyTorch、TensorFlow、JAX 三大框架。 其核心定位是：Intel 官方大模型推理优…
NeMo Curator 是 NVIDIA 出品的大规模多模态数据预处理与清洗工具包，专门为 LLM（及其他基础模型）预训练数据构建可复用的 GPU 加速流水线。覆盖文本、图像、视频、音频四种模态，核心能力包括：质量过滤、去重（精确/模糊/子串）、语言检测、分类、合成数据生成（SDG）。它由 RAPIDS（cuDF/cuML/cuGraph）+ Ray 驱动…
llama.cpp 是一个纯 C/C++ 实现的高性能 LLM 推理框架，核心目标是在各种硬件上以最小化依赖和最优性能跑本地大模型。它基于底层的 ggml 库构建，支持 FP16 和 GGUF 量化格式，Star 122,572（无周增，长期稳定），是本地 LLM 推理领域最活跃的开源项目之一。 核心特点： 纯 C/C++ 实现，无外部依赖（除少量单文件 H…
封神榜（FengshenbangLM） 是 IDEA 研究院认知计算与自然语言研究中心（CCNL）主导的中文大模型开源体系，2021 年 11 月由沈向洋在 IDEA 大会上正式发布。定位是"中文认知智能的基础设施"，旗下包含 6 大模型系列，覆盖从语言理解到多模态生成的完整 NLP 任务。 三个子项目协同工作： Fengshenbang Model：预训练…
NVIDIA/GenerativeAIExamples 是 NVIDIA 官方的生成式 AI 参考工作流仓库，针对加速基础设施（GPU/NIM 微服务）做了深度优化，涵盖 RAG 管道、Agentic 工作流、知识图谱、视觉 NIM 工作流、Data Flywheel 完整闭环等场景。当前最新 release 为 v0.8.x（2025 年），目录结构已完成…
TurboFieldfare 是一个用 Swift 6.2 + Metal 4 从零手写的 Gemma 4 26BA4B 推理运行时，专为 Apple Silicon Mac 设计。它的核心目标只有一个：让 8 GB 内存的 M 系列 MacBook Air 也能跑 Gemma 4 26B 大模型。 Gemma 4 26B 是一个 MoE（Mixtureof…
Open Model Zoo 是 Intel 维护的预训练深度学习模型仓库，为 OpenVINO™ Toolkit 提供大量已优化模型和演示程序。包含 200+ 模型，覆盖目标检测、图像分类、图像分割、姿态估计、语音识别、文本转语音等主流 CV 任务，并配有可直接运行的 C++ / Python Demo 示例。 模型分为两大类： Intel 预训练模型（m…
RapidMLX 是目前 Apple Silicon 上速度最快的本地 AI 推理引擎，专为 M 系列芯片优化，基于 Apple MLX 框架重写所有核心 kernel，纯 Metal GPU 加速，无任何 llama.cpp 回退或 Python 桥接层。相比同场景的 Ollama，吞吐量提升约 4.2 倍，首 token 时间（TTFT）可低至 0.08…
ultralytics/yolov3 是 YOLOv3（You Only Look Once version 3）目标检测模型的 Ultralytics 官方 PyTorch 实现。原始 YOLOv3 由 Joseph Redmon 和 Ali Farhadi 在 2018 年提出（arXiv:1804.02767），Ultralytics 在此基础上添加了…
RunAnywhere 是一个端侧 AI 推理 SDK 套件，让你在 iOS、Android、Flutter、React Native 和浏览器里直接跑 LLM、VLM、语音识别（TTS/STT）和语音合成，无需联网、数据不离设备。它用同一套 API 屏蔽了各平台的底层差异：Apple 设备走 Core ML / Metal，安卓走 llama.cpp 或高…
vLLMOmni 是 vLLM 社区推出的全模式（omnimodality）推理框架，将 vLLM 的高性能 LLM 推理能力扩展到任意到任意的多模态模型——不只是理解图像/视频/音频，而是能同时生成多种模态的输出（文本+图像+视频+音频）。 支持的输出类型： 一句话概括：vLLM 在多模态生成领域的扩展，让研究者和企业能用生产级性能跑 OmniModali…
SGLang 是一个高性能大语言模型（及多模态模型）推理 serving 框架，由 LMSYS 组织开发维护（Apache2.0 许可证）。它的核心定位是 vLLM 的直接竞争对手，在多项 benchmark 上展示出更高的吞吐量和更低的延迟。SGLang 底层基于 PyTorch，支持 RadixAttention（前缀缓存）、连续批处理（continuo…
vLLM 是一个高吞吐量、内存高效的 LLM 推理与服务引擎，最初由 UC Berkeley Sky Computing Lab 开发，现已成长为全球最活跃的开源 AI 基础设施项目之一，拥有来自 2000+ 贡献者的社区支持。 核心突破是 PagedAttention 技术——受操作系统虚拟内存分页启发，将 KV Cache 切分成小块动态管理，显著减少显…
LiteLLM 是一个统一调用 100+ 大模型 API 的 Python 库 + AI Gateway（代理服务器），用 OpenAI 格式作为统一接口，抹平各 provider（OpenAI、Anthropic、Gemini、Bedrock、Azure、HuggingFace、VLLM、NVIDIA NIM 等）的 API 差异，同时提供成本追踪、虚拟 …