Acly/krita-ai-diffusion · 上手攻略

  • 仓库：Acly/krita-ai-diffusion
  • 链接：https://github.com/Acly/krita-ai-diffusion
  • 分类：ai-image / Krita 插件
  • 作者：spark
  • 更新：2026-07-14

这是什么

krita-ai-diffusion 是开发者 Acly 给开源绘图软件 Krita 写的生成式 AI 插件。它把扩散模型（Stable Diffusion 1.5 / XL / Illustrious / Flux、Z-Image + ControlNet / IP-Adapter）作为 Krita 的"生成式图层工具"暴露出来，强调两件事：

  1. 精度与控制：用选区 / 草图 / 线稿 / 深度图 / 姿态图（ControlNet layers）约束生成；用 IP-Adapter 做参考图 / 风格迁移 / 换脸。
  2. 工作流融合：不像 webui 那种把 AI 参数当主角，插件在 Krita 里以一个不打扰的 docker（"AI Image Generation"）出现，画到哪推到哪，不要求你切换分辨率或操心显存管理。

后端固定走 ComfyUI——本插件安装时自动拉起 ComfyUI 子进程（也可手动指一个已有 ComfyUI 安装，插件会自动连接）。

插件也提供云端生成入口（README 明说 "Cloud generation is also available to get started quickly without heavy investment"），但本地 + 开源模型是默认路径。

解决什么问题

  • A1111 / WebUI 风界面被参数淹没：ComfyUI 默认节点也是工程师视角；装本插件后，你能在 Krita 里直接框选、调几个 strength，按"生成"——AI 成了画笔。
  • 图像编辑要"局部重绘"，但整张重生成不可控：插件的"Live Painting"让 AI 实时跟随你笔触走；"Inpainting/Outpainting"基于 Krita 选区做生成式填充。
  • 出图分辨率撑不开：内置 upscale 流水线能把图放到 4k、8k 而不爆显存，自动按 VRAM 分块。
  • 修稿 / 改构图：每个生成都是独立的 Krita 图层，可重看 prompt、可重出、可撤回；Region 把整张图分区，每区一条 prompt。

快速安装

前置

  • Krita >= 5.2.0（README 强制项）。
  • 后端依赖 ComfyUI（自动装或手动指定）。
  • 推荐配置（README 写的"strong"档）：至少 6GB VRAM 的 NVIDIA GPU（CUDA）。
  • AMD GPU：ROCm（Windows / Linux）。
  • Intel GPU：XPU（Windows / Linux）。
  • Apple Silicon：MPS（macOS 14+）。
  • CPU：能跑，极慢。

步骤

  1. 安装 Krita（5.2.0 或更新）。
  2. 到 Releases 页 下载插件 zip。
  3. 启动 Krita → 菜单 Tools → Scripts → Import Python Plugin from File... → 选刚才下载的 zip。
  4. 重启 Krita。
  5. 打开或新建一个文档。
  6. 打开 docker：Settings → Dockers → AI Image Generation。
  7. 在 docker 里点 Configure，按引导做"自动安装本地 ComfyUI 服务"——会自动装 ComfyUI 本体 + 必需的自定义节点 + 推荐模型；也可以选"指向已有 ComfyUI"。
  8. 如果你本地 ComfyUI 之前就在跑（如 127.0.0.1:8188），Krita 一打开插件就自动尝试连接；远程服务器同理。

模型 / 节点准备

详细清单见 docs.interstice.cloud/comfyui-setup；也提供 download_models.py 一键把"必需 + 可选"模型拉下来。下载路径不必是 ComfyUI 安装目录——可以放空文件夹，之后再合并。

核心用法

1. Live Painting（实时跟着你的笔触）

  • 打开 AI Image Generation docker。
  • 选 Flux / SDXL / SD1.5 中一个预设风格。
  • 在画布上开始涂画（草图、色块都行）——AI 按你目前的笔触 + ControlNet 实时渲染。
  • 通过 docker 调整 strength（影响区域）、prompt（方向词）。
  • 历史里能看到每一次刷新的中间结果，回滚或基于某张再走。

2. Inpainting / Outpainting

  • 用 Krita 选区工具框出需要"重画/扩展"的区域。
  • 选中 docker 里 Generate（或对应按钮）。
  • 模型只在你选区内重绘，区外保持原图。
  • 想出图"更大画幅"就 outpaint：把画布先放大再做选区，AI 会向外补完。

3. Regions（分区描述）

  • 把一个 Krita 图层当 mask，每块标不同颜色 / 标签对应一个 region。
  • 在 docker 里给每个 region 写不同 prompt（"蓝天 / 草地 / 远山"），整图一次性生成。
  • 对背景精细分区、产品图分区讲解很顺手。

4. ControlNet 控制层（scribble / line art / depth / pose / canny / normals / segmentation）

  • 启用 ControlNet 图层类型（插件在 Krita 图层菜单里加了 Control 层）。
  • 画线稿 → AI 沿线稿出图；
  • 贴一张深度图 → AI 按 3D 结构出图；
  • 用一张姿态骨架图控制人物站位（README 配视频：https://youtu.be/-QDPEcVmdLI）。

5. IP-Adapter / 换脸 / 风格迁移

  • 在 control panel 里把参考图拖入；
  • 强度滑杆控制"参考到什么程度"；
  • 风格迁移不强 prompt，参考图主导。

6. Upscale

  • 选一张图层或整图 → docker 上 Upscale。
  • 可选 4x/8x，由插件按 VRAM 自动分块（"不会 OOM"）。

7. Job Queue / History

  • 长任务可以排队或中途取消。
  • History 直接浏览所有历史生成与对应 prompt，可重看 / 重跑。

8. 预设与自定义

  • 自带"强默认"风格预设（realistic / anime / illustration / 等）。
  • 自带 preset 之外，玩家可以创建自定义 checkpoint + LoRA + sampler 组合。

9. 模型列表

README 列出当前支持的扩散模型：

  • Flux 2 / Z-Image
  • Stable Diffusion 1.5 / XL / Illustrious

Edit 模型（基于文本指令修改已有图像）支持；ControlNet（lllyasviel/ControlNet）与 IP-Adapter（tencent-ailab/IP-Adapter）作为后端依赖。

典型适用场景

  • 数字画师 / 概念设定：先草稿 + ControlNet 线稿快速出图，再在 Krita 里手工细化。
  • 修图 / 商品图局部更换：选区 inpaint 比 Stable Diffusion WebUI 操作更直观。
  • 海报 / 装帧高清出图：把低分辨率草图 upscale 到 4k/8k 出稿。
  • 角色一致性 / 风格锁定：用 IP-Adapter 喂参考图，绕开 prompt 飘移。
  • 想用 Flux / Z-Image 但又懒得开 ComfyUI 节点 UI：直接 Krita 一键。

坑与注意

  • 显存下限 6 GB：再低要么极慢要么直接 OOM；插件内置分块 upscale 只是为了在低显存的图上升采样不要爆，普通生图仍受最低显存约束。
  • Krita 版本硬卡 5.2.0+：老 Krita 直接装不上。
  • macOS 14 之前的 Apple Silicon：MPS 路径只从 macOS 14 起能正常工作；老 macOS 要么升级要么用云端。
  • CPU 模式不可作为生产：README 明说 "supported, but very slow"——SDXL/Flux 在 CPU 上一次生成可能要十几分钟起步。
  • ComfyUI 节点 / 模型兼容性：插件启动时检查一个固定集合的 custom node 和模型，缺了补；用户自带的 custom node 可能要求升级。download_models.py 用来一次拉齐所有必须 + 可选。
  • 装完没看到 docker：菜单路径是 Settings → Dockers → AI Image Generation，不是 Windows → Dockers；Krita 5 不同小版本菜单位置偶有变化。
  • 生成中中途取消：会留下不完整临时文件，需要在 History 里清，否则占磁盘。
  • 云端生成收费：README 提示有 cloud 选项作为快速体验入口，但没说定价——商业重活前先看官方定价页（www.interstice.cloud）。

与同类对比

  • Stable Diffusion WebUI (A1111)：UI / 节点自由度高，但参数为王；本插件走 ComfyUI 后端 + Krita 前面板，UX 更像"画笔"。
  • ComfyUI 原生：同等灵活、零碎成"节点画板"；本插件 = ComfyUI 引擎 + Krita 友好外皮。
  • Fooocus / SD.Next：GUI 单文件桌面端，强调"低门槛一键出图"；但没有 Krita 这种成熟画师工具的选区 / ControlNet 图层概念。
  • Photoshop + Stable Diffusion 插件（如 AutoPhotoshop）：深度集成 Photoshop；对不开 PS 订阅 / 想用 Krita 的用户无意义。
  • InvokeAI：模块化桌面 UI；偏向节点老用户，也是"先选 UI 再画"。
  • 同类 Krita 插件历史上有过：早期项目多基于 A1111 outpaint，本插件是首个把 ComfyUI + Flux/SDXL/ControlNet/IP-Adapter 打通的"功能丰富"产品，对准备长期用 Krita 出图的画师比较对位。

一句话推荐

想要"在 Krita 里把 AI 当图层工具用"、又要 Flux/SDXL/ControlNet 全栈支持，本插件是目前最完整且活跃的开源选择；只要机器有 6GB+ VRAM（或愿意用云），按上面 5 步就能开干。