Paddler 是一款用 Rust 写的开源 LLM/VLM 推理负载均衡与服务平台。架构非常克制：只有两个组件——balancer（对外暴露 OpenAI 兼容推理接口、管理面和 Web 控制台）和 agent（真正跑推理，注册到 balancer 上即可上线）。底层直接用 llama.cpp 推理引擎（fork 版本，Paddler 自己实现了 slot…
仓库攻略
45 篇 · 45 个项目 · spark · 多模态
torchao（即 pytorch/ao 仓库发布的 PyPI 包名）是 PyTorch 官方主推的 原生量化与稀疏化库，主打「训练推理一致」「一行代码改动即可接入」，覆盖从权重量化（int4/int8/fp8/NF4）、激活量化、2:4 稀疏、低比特 optimizer（4bit/8bit/fp8 AdamW）、量化感知训练（QAT），到 float8 预…
envd（ɪnˈvdɪ，读作 "invideo"）是 TensorChord 开源的一个面向 AI/ML 的容器化开发环境构建工具。它用一个声明式的 build.envd 文件描述你的训练/推理环境，然后用一个 envd up 命令把它打包成 OCI 兼容的镜像，并在本地（或远端 K8s 集群）跑起来。 它不是 Dockerfile 的替代品那种简单封装——…
FastVideo 是 MBZUAI Hao Zhang 实验室主导的"统一视频生成推理 + 后训练（蒸馏/微调）框架"。它不是某个视频生成模型本身，而是一套面向 DiT 类视频扩散模型（Wan、Mochi、Hunyuan、CausalWan 等）的训练蒸馏推理一站式底座，目标是让视频生成既能微调，又能跑得快、跑得便宜。 仓库内同时包含 4 个层次的产出： …
OpenViking 是字节跳动旗下火山引擎（Volcengine）开源的、面向 AI Agent 的「上下文数据库」（Context Database）。它用「文件系统范式（filesystem paradigm）」统一管理 Agent 运行所需的全部上下文：长期记忆（memory）、外部知识与资源（resources）、可调用的技能（skills）。 与…
VLMEvalKit（Python 包名 vlmeval）由上海人工智能实验室 OpenCompass 团队开源，是大型视觉语言模型（LVLM / VLM）的事实标准评估工具包。它的口号是 "一命令评测 220+ LVLM、80+ benchmark" —— 用户只写一个 generate_inner()，剩下的数据下载、预处理、推理、metric 全部由框…
lmmseval（Python 包名 lmmseval，前身为 LMMsEval）是 EvolvingLMMsLab 维护的"统一多模态大模型评估工具包"。目标只有一个：让"同一个模型 + 同一个 benchmark + 同一套参数"在两台机器上跑出来数字一致，并且能覆盖文本、图像、视频、音频四大模态的 100+ 任务、30+ 模型后端。 它脱胎于 Eleu…
opendilab/awesomeRLHF 是上海人工智能实验室 OpenDILab 维护的 "RLHF 精选资源列表"，延续 awesome 系列的策展风格：把强化学习与人类反馈（Reinforcement Learning from Human Feedback）相关论文、代码库、数据集、博客、图书按时间线（2020 及以前 → 2026）梳理成一份可阅…
rasbt/reasoningfromscratch 是 Sebastian Raschka（Build a Large Language Model (From Scratch) 的作者）出版的第二本 Manning 图书 Build a Reasoning Model (From Scratch) 的官方配套代码仓库。整本书/仓库的目标是：从一个已经预训…
pandoclatextemplate 是 Wandmalfarbe 维护的 pandoc LaTeX 模板（代号 Eisvogel），目标是让你的 Markdown 直接转出"看起来像正式出版物 / 讲义"的 PDF 或 .tex，免去手写 LaTeX 模板的痛苦。 模板自带： 自定义封面页（可指定背景色、字体色、logo、整页背景图） 整本可读的正文页（…
kritaaidiffusion 是开发者 Acly 给开源绘图软件 Krita 写的生成式 AI 插件。它把扩散模型（Stable Diffusion 1.5 / XL / Illustrious / Flux、ZImage + ControlNet / IPAdapter）作为 Krita 的"生成式图层工具"暴露出来，强调两件事： 1. 精度与控制：用…
zoterostyle（中文社区里常叫 "Ethereal Style"）是作者 MuiseDestiny 用 windingwind/zoteroplugintemplate 写出来的 Zotero 文献管理器样式增强插件。它在 Zotero 的条目列表（item table）上重做 / 新增一批「列」，把文献管理与阅读状态变成视觉化、可一眼扫的东西，包括…
wasabeef/awesomeandroidui 是 wasabeef 维护的一份精选 Android UI/UX 库目录，截至 2026 年 7 月在 GitHub 上拥有约 5.68 万 ⭐、2.8k Watcher。它不是代码库，而是按 UI 形态分类的导航： Jetpack Compose · Layout · Button · List/Grid…
GinVueAdmin（社区常简称 GVA）是一套前后端分离的全栈开发基础平台： 它不是简单的"脚手架模板"，更像一套带运营 8 年沉淀的中后台最佳实践集，在 GitHub 拥有约 2.4 万 ⭐（截至 2026 年 7 月），被广泛用于中小型企业后台、CMS、ERP、IoT 平台等场景。 当前主流发行版本：v2.9.2（20260526 在 madewit…
Memvid 是一个"单文件 AI 记忆层"（singlefile memory layer）项目，目标是把 LLM Agent 需要的"长期记忆 + 检索"打包成一个可拷贝、可分享、可版本管理的 .mv2 文件，从而彻底替代传统 RAG 链路里的向量数据库 + 检索服务。 它用了一种"借鉴视频编码"的有趣思路：把每条记忆存为一个不可变的 Smart Fra…