aigc-apps/sd-webui-EasyPhoto · 上手攻略

  • 仓库：aigc-apps/sd-webui-EasyPhoto
  • 链接：https://github.com/aigc-apps/sd-webui-EasyPhoto
  • 分类：AI · 图像生成 · 人像摄影
  • 作者：Tom
  • 更新：2026-08-19

这是什么

EasyPhoto 是一个 Stable Diffusion WebUI 插件，用于生成 AI 人像写真——上传 5~20 张个人照片训练专属的"数字分身"（LoRA 模型），之后即可用这个分身在任意场景下生成写真图片。

核心能力： - 个人数字分身训练：上传照片 → 训练 LoRA → 生成同一人不同场景的写真 - 多人物生成：一次生成 2 人以上合影（需在设置中开启） - 模板库：内置多种预设模板（证件照、职业照、艺术照等） - 自定义模板：支持上传自己的图片作为生成背景 - 背景替换：生成后可单独替换背景 - 视频推理：无需额外训练，直接用训练好的 LoRA 生成 AI 数字人视频 - SDXL 支持：支持 SDXL 高分辨率模型（需 16GB+ VRAM） - LCM-Lora 加速：12 步即可完成生成（对比原生 50 步）

由阿里巴巴 PAI（Platform for AI）团队开发维护，开源于 2023 年，配套有论文（arXiv:2310.04672）和 ModelScope 在线 Demo。

解决什么问题

传统 AI 人像工具有两类主要问题： - Face Fusion / Roop 类工具：换脸自然度差，光照不匹配，人像"假" - 独立训练 Stable Diffusion 人像模型：成本高、周期长，不适合个人用户快速迭代

EasyPhoto 的解决思路：用少量照片（5~20张）微调一个 LoRA 作为"数字分身"，再配合 SD 的 image-to-image 能力在目标场景中生成——兼顾真实感（SD 的光影渲染）和相似度（LoRA 个性化）。

典型场景： 1. 个人写真生成（无需摄影师） 2. 证件照、职业照（换装、换背景） 3. 社交媒体头像 4. AI 数字人视频

快速安装

前置要求 - NVIDIA GPU，至少 12GB VRAM（官方测试过 RTX 3060 12G） - 磁盘空间 60GB+（存放权重、临时数据集） - 已安装 Stable Diffusion WebUI（AUTOMATIC1111 或同类 fork） - 已安装 ControlNet 插件（sd-webui-controlnet，Multi ControlNet max models ≥ 3） - Python 3.10 - CUDA 11.7+（推荐 11.8 或 12.x） - 已安装 Git

方式一：WebUI 扩展市场安装（最简）

  1. 打开 SD WebUI → Extensions → Available → 搜索 EasyPhoto
  2. 点击 Install
  3. 重启 WebUI

方式二：手动 git clone

# 进入 SD WebUI 的 extensions 目录
cd /path/to/stable-diffusion-webui/extensions

# clone 仓库
git clone https://github.com/aigc-apps/sd-webui-EasyPhoto.git

# 重启 WebUI（会首次自动下载所需权重）

方式三：Docker（推荐有经验用户）

# 拉取镜像（已含 SD WebUI + EasyPhoto）
docker pull registry.cn-beijing.aliyuncs.com/mybigpai/sd-webui-easyphoto:0.0.3

# 启动
docker run -it -p 7860:7860 --network host --gpus all \
  registry.cn-beijing.aliyuncs.com/mybigp2/sd-webui-easyphoto:0.0.3 \
  python3 launch.py --port 7860

# 注意：Docker 镜像更新可能慢于 GitHub，建议进入容器后：
# cd extensions/sd-webui-EasyPhoto && git pull

方式四：阿里云 PAI-DSW（免费 GPU）

阿里云 PAI 提供免费 GPU 时长（3 个月有效期），可一键拉起含 EasyPhoto 的镜像： - 进入 ModelScope 体验 - 或在 PAI-DSW 使用阿里云免费额度，填入社区镜像 aigc-apps/sd-webui-EasyPhoto/sd-webui-EasyPhoto

核心用法

训练数字分身

  1. 上传照片：5~20张，建议半身照，不同角度、光照条件，尽量不戴眼镜
  2. 填写 User ID：如 zhang_san
  3. 开始训练：点击 Start Training
参数说明（新手建议默认）：
- Resolution: 512（训练图像分辨率）
- Max train steps: 800（默认）
- Max steps per photos: 200（每张照片最多训练轮次）
- Learning rate: 1e-4（默认）
- Rank (LoRA): 128（特征长度，越高质量越好但越慢）
- Network alpha: 64（通常为 Rank 的一半）

训练过程会自动： - 人脸检测 + 皮肤美化 → 干净的人脸区域 - 固定标签（无需人工标注） - 每 100 步用模板图验证效果 - 最终计算 Face ID 相似度，选取最相似的人脸作为推理默认图

训练完成（约 10~20 分钟，取决于 GPU），日志会显示最佳模型路径。

推理生成

  1. 点击 Refresh 按钮查询已训练的用户 ID
  2. 选择 User ID（数字分身）
  3. 选择模板（预设模板或上传自定义图片）
  4. 点击 Generate 生成

多人物生成

1. 进入 Settings → EasyPhoto → 设置 num_of_faceid > 1
2. Apply 并重启 WebUI
3. 上传含多人的模板图
4. 为每个人物分别选择对应的 User ID
5. Generate 即可生成多人合影

API 调用（开发者）

# 详见：https://github.com/aigc-apps/sd-webui-EasyPhoto/tree/main/api_test

# 启动 API 服务（在 WebUI 已启动的前提下）
curl -X POST http://localhost:7860/easyphoto/infer \
  -F "user_id=zhang_san" \
  -F "template=@/path/to/template.jpg" \
  -F "prompt=high quality portrait, professional lighting" \
  -o output.jpg

视频推理（无需额外训练）

1. 训练好 LoRA 后，进入 EasyPhoto Video 标签页
2. 上传模板视频
3. 选择已训练 User ID
4. 生成 AI 数字人视频（使用参考图片驱动）

典型适用场景

场景 适合程度 说明
个人写真/职业照 ⭐⭐⭐⭐⭐ 核心场景，训练+生成完整 pipeline
证件照 ⭐⭐⭐⭐ 配合背景替换功能
社交媒体头像 ⭐⭐⭐⭐ 一人多风格头像
AI 数字人视频 ⭐⭐⭐⭐ 无需重新训练 LoRA
电商模特图 ⭐⭐⭐ 需要换装功能配合
SDXL 高分辨率写真 ⭐⭐⭐ 需 16GB+ VRAM

坑与注意

  1. VRAM 门槛：训练建议 12GB+，A10/V100 等 24GB 型号体验最佳。3060 12G 可跑但速度慢、偶尔 OOM。

  2. ControlNet 必须安装：EasyPhoto 推理依赖 ControlNet 的三个模型（tile/resize/Canny），安装后需在 SD WebUI 设置中将 Max ControlNet models 调至 ≥ 3。

  3. 照片质量：训练照片不要都是戴眼镜的，建议混合几张不戴眼镜的，否则生成图容易默认生成眼镜。

  4. 磁盘空间：README 明确要求 60GB 可用空间（存权重和数据集处理中间文件），不足会训练失败。

  5. 训练时间：默认 800 步 + 200 步/照片，20张图约需 15~30 分钟（V100 24G）。

  6. Docker 镜像版本滞后：GitHub 更新比 Docker 镜像快，如用 Docker 建议进容器后手动 git pull。

  7. Windows 兼容性：Windows 10 可运行，但某些参数（如 num_workers）在 Windows 下不生效（官方已知问题）。

  8. LoRA 模型管理：训练好的 LoRA 存在 models/EasyPhoto 目录，可备份复用。

  9. 隐私风险：训练他人照片需授权，仓库内置 Contributor Covenant，禁止未经同意生成特定个人图像。

与同类对比

特性 EasyPhoto Roop FaceFusion 赛竞争
安装方式 SD WebUI 插件 独立工具 独立工具 —
训练数据需求 5~20 张照片 单张即可 单张即可 —
生成真实感 ⭐⭐⭐⭐（SD 光影） ⭐⭐⭐（融合换脸） ⭐⭐⭐（融合换脸） —
多场景生成 ✅ ❌ ❌ —
情感/表情控制 有限 ❌ ❌ —
视频生成 ✅（无需训练） ❌ ❌ —
SDXL 支持 ✅ ❌ ❌ —
多人物 ✅ ❌ ❌ —
维护活跃度 阿里 PAI 团队 社区 社区 —

EasyPhoto 相比换脸工具的核心优势是基于 SD 微调的生成质量——不是简单的人脸替换，而是用 LoRA 学到的个性化特征在目标场景中重新渲染，光照、肤色一致性更好。

一句话推荐结论

EasyPhoto 是目前上手最简单、效果最自然的 AI 个人写真工具——对普通用户，只需 5~20 张照片 + 15 分钟训练即可获得专属数字分身，在任意场景生成写真；对开发者，它也是研究人像 LoRA 训练 + SD WebUI 插件开发的最佳参考开源项目。

来源

  • GitHub 仓库（含完整安装、训练、推理文档）：https://github.com/aigc-apps/sd-webui-EasyPhoto
  • ModelScope 在线体验：https://modelscope.cn/studios/PAI/EasyPhoto/summary
  • HuggingFace Spaces 体验：https://huggingface.co/spaces/alibaba-pai/easyphoto
  • arXiv 论文（2310.04672）：https://arxiv.org/abs/2310.04672
  • 算法详解 Blog：https://blog.csdn.net/weixin_44791964/article/details/132922309
  • SD WebUI ControlNet 依赖：https://github.com/Mikubill/sd-webui-controlnet
  • ComfyUI 移植版：https://github.com/THtianhao/ComfyUI-Portrait-Maker
  • Diffusers 独立版：https://github.com/aigc-apps/EasyPhoto（同团队维护）
  • 阿里云 PAI 免费 GPU 申请：https://help.aliyun.com/document_detail/2567864.html