仓库攻略

这是一个 GitHub Awesome 类仓库，整理汇总 CVPR 2024–2026、ICCV 2025、ECCV 2024 和 2026 六大视觉顶会中与 AIGC（AIGenerated Content）相关的论文和代码，按任务类型分类组织。涵盖图像生成、图像编辑、视频生成、视频编辑、3D 生成、3D 编辑和多模态大语言模型七大方向，是跟踪 AIGC …

coderonion/awesomellmandaigc 是一个 LLM / VLM / VLA / AIGC 领域的精选资源列表（Awesome List），按 Framework（模型/训练/推理/量化/RAG）、Application（IDE/聊天机器人/具身智能/代码助手/知识库等）、Dataset、Learning Resources、Commun…

wshzd/AwesomeAIGC 是一份中文 AIGC 资料汇总型仓库，以「论文分享 / 访谈 / 模型评测 / 行业动态」为单位收录条目，附带外链（arXiv、知乎、微信公众号、B 站等）。与 f/awesomechatgptprompts、Hannibal046/AwesomeLLM 这类以英文为主的清单相比，它的定位是中文圈 AIGC 早期热度阶段的…

LearnPrompt 是一个永久免费开源的中文 AI 学习教程仓库，由 B站 up 主"卡尔的AI沃茨"（GitHub @LearnPrompt）维护。它起步于 2023 年的 AIGC 工具教程（ChatGPT、Midjourney、Stable Diffusion），如今已演化为一套面向真实工作场景的 AI Native 教程体系，涵盖 Claude …

IndexTTS 是阿里巴巴 Index 团队开源的零样本（ZeroShot）语音克隆系统，用一段参考音频（10~30秒）即可复刻任意人的音色，生成对应文本的语音。当前稳定版为 IndexTTS2.5（2026年8月10日发布），支持中文、英语、日语、西班牙语、阿拉伯语五种语言，并在多语言跨音色任务上达到了开源 SOTA 水平。 核心能力： IndexTTS…

MMagic（Multimodal Advanced, Generative, and Intelligent Creation）是 OpenMMLab 体系下的 AIGC 工具箱，是 MMEditing 与 MMGeneration 合并后的统一继承者。它提供从底层 PyTorch 训练到高层 MMagicInferencer 的全套接口，覆盖图像 / 视…

🐸TTS（coquiai/TTS）是 Mozilla 语音团队孵化的开源文本转语音深度学习工具包，支持从零训练模型、Finetuning 和推理，生产和研究均可用。最新版本 ⓍTTS v2 支持 16 种语言，还支持语音克隆（voice cloning）和语音转换（voice conversion）。它底层基于 TensorFlow / PyTorch，内置…

textgen（全称 oobabooga/textgenerationwebui）是一个开源本地大模型桌面应用，支持文本生成、视觉理解（多模态）、工具调用、网页搜索、LoRA 微调，以及 OpenAI / Anthropic 兼容 API。口号是「100% 离线、零遥测」——不需要任何外部服务，所有模型和数据都在你自己的机器上。 它是原本大名鼎鼎的「text…

Stable Diffusion 是 CompVis 团队（海德堡大学）开发的潜在扩散模型（Latent Diffusion Model），通过文本提示生成照片级图像。该项目是 Stability AI 和 Runway 合作的产物，在 2022 年 CVPR 以 Oral 论文发表，相关论文 HighResolution Image Synthesis w…

dshpluginwritingguard 是 DeepSeek Harness（DSH）的论文写作守卫插件，在论文撰写和修改过程中自动检测常见 AI 写作风格、修改残留、防御性表达与机械化句式，同时提供 Scholarship Lock 功能在 AI 润色时保护科研事实（数字、p值、图表编号等核心实体不被悄悄改动）。定位是学术写作 linter——不是"写…

NVIDIA Video Search and Summarization（VSS）Blueprint 是一套GPU 加速的视频语义理解和分析参考架构。它将视觉语言模型（VLM，如 NVIDIA Cosmos）、大语言模型（LLM，如 Nemotron）、RAG 和 NVIDIA NIM 微服务整合在一起，实现用自然语言搜索视频内容、实时异常检测、视频问答和…

Miso TTS 是 Miso Labs 开发的一个80 亿参数高表现力文本转对话语音模型（8B parameters），灵感来源于 Sesame 的 CSM（Conversational Speech Model）架构。它使用 RVQ Transformer（ Residual Vector Quantization Transformer）架构，结合 L…

VGGTOmega（VGGTΩ）是 Meta AI 与牛津大学视觉几何组（VGG）联合发布的单次前向 3D 重建模型，输入一组图像（单张到数百张），直接输出相机内外参数、深度图、置信度图和场景 token——无需传统 SfM/Colmap 的迭代优化步骤。模型入选 CVPR 2026 Best Paper Finalist，是前作 VGGT（CVPR 202…

Transformers 是 Hugging Face 维护的 Python 库，提供超过 1M 个预训练模型检查点的统一加载、微调和推理接口。它覆盖文本（NLP）、计算机视觉、音频、视频和多模态五种模态，是目前最广泛使用的开源模型定义框架。 它的核心定位不是"又一个 PyTorch 工具箱"，而是模型定义层的事实标准——如果一个模型在 transforme…

quill 是一个超轻量、纯本地运行的 macOS 会议录音 + 自动转写工具。一个菜单栏图标，点击录音，再点停止，自动在机器上完成转写，生成带说话人标签的文本记录。所有数据永不离开本机，无需账户、无需联网、无需订阅。 它名字的灵感来自羽毛（羽毛笔），是 digimata 工具链中的"录音 + 转写"担当（兄弟项目是 parrot）。整个工具是一个 Swif…

xLLM 是京东开源的高性能 LLM/VLM/DiT/REC 推理引擎，托管于 OpenAtom 基金会，核心定位是在多种国产 AI 加速器上实现企业级高吞吐推理。它于 2025 年 10 月发布技术报告（arXiv:2510.14686），已在京东内部支持客服（JingYan AI）、营销推荐、商品理解等多个核心业务日产环境运行。 架构上分为两层：xLLM…

vllmmlx 是一个专为 Apple Silicon（M 系列芯片）打造的推理服务器，核心思路是：把 vLLM 在 CUDA 硬件上的核心优化（连续批处理、页级 KV 缓存、前缀缓存）移植到苹果的 MLX 框架上，通过 Metal 驱动统一内存直接跑模型，无需任何格式转换。 它同时暴露 OpenAI /v1/ 和 Anthropic /v1/message…

Paddler 是一款用 Rust 写的开源 LLM/VLM 推理负载均衡与服务平台。架构非常克制：只有两个组件——balancer（对外暴露 OpenAI 兼容推理接口、管理面和 Web 控制台）和 agent（真正跑推理，注册到 balancer 上即可上线）。底层直接用 llama.cpp 推理引擎（fork 版本，Paddler 自己实现了 slot…

FastDeploy 是百度飞桨（PaddlePaddle）团队推出的"LLM + VLM 推理部署工具包"，主打工业级一键部署和国产芯片广覆盖。它的目标不是要替代 vLLM，而是站在 vLLM 接口的肩膀上，把 ERNIE、Qwen3、DeepSeekV3、PaddleOCRVL 等模型在 NVIDIA、昆仑芯 XPU、海光 DCU、天数 GPU、燧原 G…

lmmseval（Python 包名 lmmseval，前身为 LMMsEval）是 EvolvingLMMsLab 维护的"统一多模态大模型评估工具包"。目标只有一个：让"同一个模型 + 同一个 benchmark + 同一套参数"在两台机器上跑出来数字一致，并且能覆盖文本、图像、视频、音频四大模态的 100+ 任务、30+ 模型后端。 它脱胎于 Eleu…

argmaxossswift 是 Argmax 公司开源的 Apple Silicon 上的端侧语音 AI Swift SDK 套件。一个 Swift Package 里打包了三个产品： WhisperKit — 用 OpenAI Whisper 做离线 语音转文字（ASR），模型跑在 Core ML 上。 TTSKit — 用 Qwen3TTS 做离线 文…

OpenUI 是 Weights & Biases（W&B）开源的一款"用自然语言描述 UI，立刻看到渲染结果"的工具。你可以输入"一个带搜索框的暗色 dashboard，顶部有用户头像"，它会输出实时预览的 HTML/Svelte/React/Web Components；你可以继续用对话让它改样式、加组件、把生成的代码一键转成 React 等多端实现。官…

这是一份由南京大学 MIG 实验室（NJUMiG）维护的多模态大语言模型（Multimodal Large Language Models，MLLM）前沿论文合集，截至 2026 年 7 月已收录 17.9k+ Stars，是 MLLM 领域最全面、最活跃的社区驱动的学术索引之一。 它不是代码库，而是一个持续更新的知识库，系统整理了 MLLM 各个子方向的论…

NVIDIA NeMo Speech 是 NVIDIA 推出的专注于语音 AI 的开源框架，支持自动语音识别（ASR）、语音合成（TTS）和语音大模型（Speech LLM）三大方向。它是从原 NVIDIA/NeMo 大一统仓库中拆分出来的独立版本（2026 年 6 月正式发布首个 release），专门面向需要训练和微调语音模型的 연구人员和 PyTorc…

whisper.cpp 是 OpenAI Whisper 自动语音识别（ASR）模型的纯 C/C++ 实现，不依赖任何第三方 ML 框架。相比 Python 原版，它可以脱离 Python 环境、在各类硬件上高效运行，从树莓派、手机到 GPU 服务器都能部署。截至 2026 年 7 月最新稳定版为 v1.9.1，Stars 超过 5.1 万，是目前最流行的本…

LTX2 是 Lightricks 开源的视频生成模型（当前版本 LTX2.3，22B 参数，2026 年 3 月 5 日发布），基于 DiT（Diffusion Transformer）架构。它是 2026 年视频生成领域里唯一同时具备以下三个特性的开源模型： 同步音视频生成（4K 视频 + 音频，一次扩散过程完成） 原生 4K 50fps 输出 完整开源…

Xinference（Xorbits Inference）是 xorbitsai 团队开源的统一推理服务平台，一行代码替换 GPT 为任意开源 LLM。它让你在本地、云端或笔记本上运行开源语言模型、语音模型和多模态模型，通过统一的 OpenAI 兼容 API 提供服务。 Xinference 的核心差异化在于：支持最多的推理引擎（vLLM、SGLang、ll…

Oumi 是一个开源的 LLM 全生命周期管理平台，覆盖从数据准备、微调训练、评估评测到部署上线的完整流程。它用统一 CLI（oumi）串联起 Transformers、TRL、vLLM、veRL 等主流训练推理库，让你用同一套配置在不同硬件规模（单卡 135M 到千卡 405B）下无缝切换。 支持 Gemma 4、Qwen3.5、Qwen3.6、GPTos…

LocalAI 是一个开源的本地 AI 推理引擎，2026 年 7 月 Stars 约 4.7 万，周增约 +126。核心理念是「小核心 + 按需加载后端」：每个后端（llama.cpp、vLLM、whisper.cpp、stablediffusion、MLX 等）都是独立的 OCI 镜像，只在你需要某类模型时才拉取安装。最新稳定版为 v4.3.0（2026…

MediaPipe 是 Google 开源的端侧机器学习框架，专注于在手机（Android/iOS）、Web、桌面、边缘设备和 IoT 上实时运行 ML 模型。它不是训练框架，而是推理框架——帮你把 Google 训练好的模型快速部署到各类设备上，以低延迟处理图像、视频、音频和文本。 Google 于 2023 年将 MediaPipe 主开发文档迁移至 d…