仓库攻略

这是一个 GitHub Awesome 类仓库，整理汇总 CVPR 2024–2026、ICCV 2025、ECCV 2024 和 2026 六大视觉顶会中与 AIGC（AIGenerated Content）相关的论文和代码，按任务类型分类组织。涵盖图像生成、图像编辑、视频生成、视频编辑、3D 生成、3D 编辑和多模态大语言模型七大方向，是跟踪 AIGC …

LearnPrompt 是一个永久免费开源的中文 AI 学习教程仓库，由 B站 up 主"卡尔的AI沃茨"（GitHub @LearnPrompt）维护。它起步于 2023 年的 AIGC 工具教程（ChatGPT、Midjourney、Stable Diffusion），如今已演化为一套面向真实工作场景的 AI Native 教程体系，涵盖 Claude …

IndexTTS 是阿里巴巴 Index 团队开源的零样本（ZeroShot）语音克隆系统，用一段参考音频（10~30秒）即可复刻任意人的音色，生成对应文本的语音。当前稳定版为 IndexTTS2.5（2026年8月10日发布），支持中文、英语、日语、西班牙语、阿拉伯语五种语言，并在多语言跨音色任务上达到了开源 SOTA 水平。 核心能力： IndexTTS…

🐸TTS（coquiai/TTS）是 Mozilla 语音团队孵化的开源文本转语音深度学习工具包，支持从零训练模型、Finetuning 和推理，生产和研究均可用。最新版本 ⓍTTS v2 支持 16 种语言，还支持语音克隆（voice cloning）和语音转换（voice conversion）。它底层基于 TensorFlow / PyTorch，内置…

textgen（全称 oobabooga/textgenerationwebui）是一个开源本地大模型桌面应用，支持文本生成、视觉理解（多模态）、工具调用、网页搜索、LoRA 微调，以及 OpenAI / Anthropic 兼容 API。口号是「100% 离线、零遥测」——不需要任何外部服务，所有模型和数据都在你自己的机器上。 它是原本大名鼎鼎的「text…

Stable Diffusion 是 CompVis 团队（海德堡大学）开发的潜在扩散模型（Latent Diffusion Model），通过文本提示生成照片级图像。该项目是 Stability AI 和 Runway 合作的产物，在 2022 年 CVPR 以 Oral 论文发表，相关论文 HighResolution Image Synthesis w…

NVIDIA Video Search and Summarization（VSS）Blueprint 是一套GPU 加速的视频语义理解和分析参考架构。它将视觉语言模型（VLM，如 NVIDIA Cosmos）、大语言模型（LLM，如 Nemotron）、RAG 和 NVIDIA NIM 微服务整合在一起，实现用自然语言搜索视频内容、实时异常检测、视频问答和…

VGGTOmega（VGGTΩ）是 Meta AI 与牛津大学视觉几何组（VGG）联合发布的单次前向 3D 重建模型，输入一组图像（单张到数百张），直接输出相机内外参数、深度图、置信度图和场景 token——无需传统 SfM/Colmap 的迭代优化步骤。模型入选 CVPR 2026 Best Paper Finalist，是前作 VGGT（CVPR 202…

Transformers 是 Hugging Face 维护的 Python 库，提供超过 1M 个预训练模型检查点的统一加载、微调和推理接口。它覆盖文本（NLP）、计算机视觉、音频、视频和多模态五种模态，是目前最广泛使用的开源模型定义框架。 它的核心定位不是"又一个 PyTorch 工具箱"，而是模型定义层的事实标准——如果一个模型在 transforme…

xLLM 是京东开源的高性能 LLM/VLM/DiT/REC 推理引擎，托管于 OpenAtom 基金会，核心定位是在多种国产 AI 加速器上实现企业级高吞吐推理。它于 2025 年 10 月发布技术报告（arXiv:2510.14686），已在京东内部支持客服（JingYan AI）、营销推荐、商品理解等多个核心业务日产环境运行。 架构上分为两层：xLLM…

vllmmlx 是一个专为 Apple Silicon（M 系列芯片）打造的推理服务器，核心思路是：把 vLLM 在 CUDA 硬件上的核心优化（连续批处理、页级 KV 缓存、前缀缓存）移植到苹果的 MLX 框架上，通过 Metal 驱动统一内存直接跑模型，无需任何格式转换。 它同时暴露 OpenAI /v1/ 和 Anthropic /v1/message…

这是一份由南京大学 MIG 实验室（NJUMiG）维护的多模态大语言模型（Multimodal Large Language Models，MLLM）前沿论文合集，截至 2026 年 7 月已收录 17.9k+ Stars，是 MLLM 领域最全面、最活跃的社区驱动的学术索引之一。 它不是代码库，而是一个持续更新的知识库，系统整理了 MLLM 各个子方向的论…

NVIDIA NeMo Speech 是 NVIDIA 推出的专注于语音 AI 的开源框架，支持自动语音识别（ASR）、语音合成（TTS）和语音大模型（Speech LLM）三大方向。它是从原 NVIDIA/NeMo 大一统仓库中拆分出来的独立版本（2026 年 6 月正式发布首个 release），专门面向需要训练和微调语音模型的 연구人员和 PyTorc…

LocalAI 是一个开源的本地 AI 推理引擎，2026 年 7 月 Stars 约 4.7 万，周增约 +126。核心理念是「小核心 + 按需加载后端」：每个后端（llama.cpp、vLLM、whisper.cpp、stablediffusion、MLX 等）都是独立的 OCI 镜像，只在你需要某类模型时才拉取安装。最新稳定版为 v4.3.0（2026…

MediaPipe 是 Google 开源的端侧机器学习框架，专注于在手机（Android/iOS）、Web、桌面、边缘设备和 IoT 上实时运行 ML 模型。它不是训练框架，而是推理框架——帮你把 Google 训练好的模型快速部署到各类设备上，以低延迟处理图像、视频、音频和文本。 Google 于 2023 年将 MediaPipe 主开发文档迁移至 d…

pxpipe 是一个本地请求代理，专门用来降低 Claude Code（以及其他基于 Anthropic API 的 Agent）的 token 消耗。它通过将大量文本内容（系统提示词、工具文档、历史记录）渲染为图片，再通过视觉通道传输，从而大幅压缩输入 token 数量。 核心逻辑：一张图片的 token 成本由像素尺寸决定，而不是内容长度。实测 dens…

UnlimitedOCR 是百度开源的多模态文档解析模型，定位是「一键长文档解析」——单张图片、PDF 多页、整本手册均可一次性处理，输出结构化文本。发布于 2026 年 6 月，arXiv 论文编号 2606.23050。 官方将其定位为对 DeepSeekOCR 的进一步推进，核心能力： 传统 OCR + NLP 管道有三个常见痛点： 1. 多步骤串联：…