AudioGPT是由 AIGCAudio 团队开源的多模态音频理解和生成框架，发布于 2023 年 4 月（arXiv:2304.12995）。其核心设计思路是：将 LLM（大语言模型）作为音频任务的统一调度层，底层对接各类音频/语音专有的预训练基础模型（Foundation Models），用户通过自然语言 Prompt 控制音频生成与理解任务。 GitH…
仓库攻略
69 篇 · 69 个项目 · 多模态 · tom
pytorch/examples 是 PyTorch 官方维护的示例仓库，汇集了 PyTorch 官方团队编写的各领域高质量参考实现。与 PyTorch Tutorials 不同，这些示例追求代码简洁、独立可运行、少依赖，每个子目录对应一个完整任务，读者可以直接把代码复制到自己的项目中使用或改写。覆盖领域包括：MNIST 手写数字识别（含多种变体）、VAE、…
labelImg 是一个开源的图形化图像标注工具，由 Tzutalin 开发维护，现归属 HumanSignal（Label Studio 社区）管理。它用 Python + Qt 编写，提供直观的 GUI，让用户通过鼠标框选来标注目标物体，生成标准格式的标注文件。标注结果支持 PASCAL VOC XML、YOLO TXT 和 CreateML JSON …
EasyOCR 是一个用 PyTorch 开发的通用 OCR（光学字符识别）Python 库，开箱即用，支持 80+ 语言，涵盖 Latin、CJK（简繁体中文、日文、韩文）、Arabic、Devanagari、Cyrillic 等所有主流书写系统，同时处理自然场景文本和文档密集文本。 v1.7.2（2024 年 9 月）是当前最新正式版。自 2020 年起…
重要声明：Mozilla DeepSpeech 项目已在 2023 年左右正式宣布 DISCONTINUED（终止维护）。最新版本为 v0.9.3（发布于 ~2021 年），无后续更新。预训练模型文件仍在 GitHub Releases 可下载，但不再有安全更新或新功能。 如果你需要离线语音识别，推荐评估替代方案：Whisper（OpenAI）、Whispe…
🐸TTS（coquiai/TTS）是 Mozilla 语音团队孵化的开源文本转语音深度学习工具包，支持从零训练模型、Finetuning 和推理，生产和研究均可用。最新版本 ⓍTTS v2 支持 16 种语言，还支持语音克隆（voice cloning）和语音转换（voice conversion）。它底层基于 TensorFlow / PyTorch，内置…
OCRmyPDF 是一个为 PDF 添加 OCR 文字层的命令行工具，它调用 Tesseract OCR 引擎，将扫描件、影印件等图片型 PDF 转化为可搜索、可复制文字的 PDF/A（适合长期归档的可移植 PDF 子集）。 它的核心价值在于「精准」——OCR 文字会精确地嵌入到原始图片下方，保证复制粘贴时位置准确，不出现文字错位；输出文件通常比输入更小（经…
textgen（全称 oobabooga/textgenerationwebui）是一个开源本地大模型桌面应用，支持文本生成、视觉理解（多模态）、工具调用、网页搜索、LoRA 微调，以及 OpenAI / Anthropic 兼容 API。口号是「100% 离线、零遥测」——不需要任何外部服务，所有模型和数据都在你自己的机器上。 它是原本大名鼎鼎的「text…
dshvisionrouter 是 DeepSeek Harness（DSH）的视觉增强插件，专为"只能处理文本"的 Agent 提供图像理解能力。它的核心思路是：把看图变成一次普通的工具调用，让 Agent 可以用 vision_ground、vision_crop、vision_describe 等 11 个像素级工具按需操作图像，而不是把图片压缩成一段…
Stable Diffusion 是 CompVis 团队（海德堡大学）开发的潜在扩散模型（Latent Diffusion Model），通过文本提示生成照片级图像。该项目是 Stability AI 和 Runway 合作的产物，在 2022 年 CVPR 以 Oral 论文发表，相关论文 HighResolution Image Synthesis w…
baibaiAIGC（发音近似"拜拜 AIGC"）是一个中文/英文论文与学术/技术文档的降 AIGC 改写工具集，目标是通过结构化的多轮 prompt 降低文本中的模板化、机械化 AI 写作痕迹，同时保持原意、术语和结构不变。它不是检测规避器，而是通过真正的改写让文字读起来更像人写的。 核心作者是 poleHansen，项目托管于 GitHub，Star 9…
NVIDIA Video Search and Summarization（VSS）Blueprint 是一套GPU 加速的视频语义理解和分析参考架构。它将视觉语言模型（VLM，如 NVIDIA Cosmos）、大语言模型（LLM，如 Nemotron）、RAG 和 NVIDIA NIM 微服务整合在一起，实现用自然语言搜索视频内容、实时异常检测、视频问答和…
Pix2Text（简称 P2T）是一个开源 Python 工具，核心功能是把图片（含数学公式、表格、版面布局）识别并转换为 Markdown 格式，定位是 Mathpix 的免费开源替代品。 2025 年 7 月升级到 V1.1.4 后，数学公式检测（MFD）和识别（MFR）模型均已升级到 1.5 版本，版面分析引入 DocLayoutYOLO 模型，整体识…
Power Design 是一个 Claude Code Skill，通过品牌 DNA（Brand DNA）搭配编码化设计原则（20 条幻灯片规则 + 20 条网页规则）生成两类输出：演讲 deck 和响应式网站。它的核心主张是"每个输出既符合品牌调性，又满足客观设计标准"，不是生成"带紫色渐变的六条项目符号封面"。 两套规则书分别来自：Tufte、Duar…
sorafm 是一个基于 Next.js 的开源 Sora AI 视频生成 Web 应用，提供可视化界面来管理和展示由 OpenAI Sora 生成的 AI 视频内容。项目支持 Docker 部署，可以在本地或私有服务器上快速搭建一个 Sora 视频展示站点。 技术栈：Next.js（前端框架）+ PostgreSQL（数据库）+ Tailwind CSS（…
HITszTMG/VideoClaw 是一个面向创意视频生产的 AI 导演系统，来自哈尔滨工业大学（深圳）TMG 实验室。它不是单点式的文生视频工具，而是一条覆盖"剧本策划 → 角色/场景设计 → 分镜规划 → 参考图生成 → 视频生成 → 后期剪辑"的全流程生产线。 用户只需给出一句想法或故事梗概，VideoClaw 就会自动拆解为可执行的影视工作流，生成…
Moonvy/OpenPromptStudio（又称 OPS · Open Prompt Studio）是一个面向 AIGC 创作者的中文提示词（Prompt）可视化编辑器。它的核心功能是把 Midjourney 等文生图模型的提示词拆解成可编辑的结构化组件，支持翻译、可视化预览、图片导出和提示词词典管理。 该工具诞生于 2023 年，主打"所见即所得"的提…
AIGCPanel 是一款一站式 AI 数字人桌面应用，支持 Windows / macOS / Linux 三平台，定位是让没有深厚技术背景的普通用户也能快速上手本地 AI 模型，生成数字人视频、合成 / 克隆声音、操作 25+ 音视频处理工具。软件基于 Electron + Vue 3 + TypeScript 构建，数据存储使用 bettersqlit…
字字动画（TypeTale）是一款国产 AIGC 视频创作软件，主要面向 AI 短剧、AI 电影和小说推文（网文转视频）场景。核心思路：从文案到视频的全链路 AI 创作，涵盖文案预处理、智能分镜、图片生成、视频生成、对口型、音频合成，最终一键导出剪映草稿。 承诺现有功能永久免费，提供算力云/仙宫云完整镜像和本地 AI 整合包。系统要求：Windows，推荐 …
spritegen 是一个面向游戏美术的 AI 驱动精灵图（sprite atlas）生成 pipeline，以 Codex/Claude Skill 形式运行。给一张角色基础图，它驱动 AI 图像模型逐动作状态（idle、jump、attack…）生成一行帧图，依次完成去背景、连通分量提取、帧切割、帧级别校正，最后打包出一张含真实 alpha 通道的透明精…
VGGTOmega（VGGTΩ）是 Meta AI 与牛津大学视觉几何组（VGG）联合发布的单次前向 3D 重建模型，输入一组图像（单张到数百张），直接输出相机内外参数、深度图、置信度图和场景 token——无需传统 SfM/Colmap 的迭代优化步骤。模型入选 CVPR 2026 Best Paper Finalist，是前作 VGGT（CVPR 202…
gcminimalzineposter 是一个 Codex（OpenAI 官方 AI 编程助手）技能，专门将任意主题、句子、物件、情绪、文章构想、照片或内容简报，转化为一张安静、极简 ZINE 风格编辑海报的提示词，并直接生成对应的位图图像。 它不是通用的图片生成工具——所有输出都围绕一种独特的美学：竖版 3:5 比例、70%–90% 留白、日式/韩式独立 …
Transformers 是 Hugging Face 维护的 Python 库，提供超过 1M 个预训练模型检查点的统一加载、微调和推理接口。它覆盖文本（NLP）、计算机视觉、音频、视频和多模态五种模态，是目前最广泛使用的开源模型定义框架。 它的核心定位不是"又一个 PyTorch 工具箱"，而是模型定义层的事实标准——如果一个模型在 transforme…
xLLM 是京东开源的高性能 LLM/VLM/DiT/REC 推理引擎，托管于 OpenAtom 基金会，核心定位是在多种国产 AI 加速器上实现企业级高吞吐推理。它于 2025 年 10 月发布技术报告（arXiv:2510.14686），已在京东内部支持客服（JingYan AI）、营销推荐、商品理解等多个核心业务日产环境运行。 架构上分为两层：xLLM…
vllmmlx 是一个专为 Apple Silicon（M 系列芯片）打造的推理服务器，核心思路是：把 vLLM 在 CUDA 硬件上的核心优化（连续批处理、页级 KV 缓存、前缀缓存）移植到苹果的 MLX 框架上，通过 Metal 驱动统一内存直接跑模型，无需任何格式转换。 它同时暴露 OpenAI /v1/ 和 Anthropic /v1/message…
img2threejs 是一个代码优先的图像→3D 重建工具。你给它一张参考图，它生成一段 TypeScript 代码，在浏览器里跑出一个 THREE.Group 工厂函数——所有几何体都由原始几何体（BoxGeometry、CylinderGeometry 等）、程序化着色器和生成式几何拼出来，没有 mesh 文件，没有 GLB 下载，产物天然是"代码"而…
img2threejs 是一个代码驱动式图像→3D 重建工具。它接受一张物体参考图，通过 AI Agent（Claude Code / Codex / OpenCode）驱动一个分阶段质量门控流水线，输出一段 TypeScript Three.js 工厂函数，将该物体用几何体 Primitive、程序化材质和自定义几何重建出来——不是生成 mesh 文件，而…
scrollworld 是一个 AI Agent Skill（技能），运行在 Claude Code、Codex 或任何兼容 SKILL.md 的 AI 编程助手内。它能为一任意品牌或行业构建「滚动穿越3D世界」的沉浸式落地页——访客滚动页面时，摄影机从场景外部俯冲进入内部，再无缝飞入下一场景，全称无剪辑，像 Apple's scrollthrough 产品…
内容待复核
BradyFU/Awesome-Multimodal-Large-Language-Models · 上手攻略
这是一份由南京大学 MIG 实验室（NJUMiG）维护的多模态大语言模型（Multimodal Large Language Models，MLLM）前沿论文合集，截至 2026 年 7 月已收录 17.9k+ Stars，是 MLLM 领域最全面、最活跃的社区驱动的学术索引之一。 它不是代码库，而是一个持续更新的知识库，系统整理了 MLLM 各个子方向的论…
htmlvideo 是 Open Design 团队出品的"AI 视频生成 metalayer"：你跟本地 coding agent 说一句话（或丢一个链接），它把 HTML/CSS/数据变成真实 MP4 视频，全程在你电脑上渲染，不需要云端、不收单次渲染费。 它不绑定某个特定渲染引擎，而是一套适配器接口，render(input, ctx) 契约，任何后端…