1. Tiled diffusion 和 Tiled VAE插件
1.1. 为什么使用tiled diffusion和tiled vae
1.1.1. 图片超高清放大
- 目标
- 生成超高分辨率的图片，满足商业订单的需求
- 为画面增加细节
- 修复画面缺陋
- 遇到的痛点
- 问题：放大超大图片时，一次性整体去噪对显存要求太高
- 问题：VAE解码超大图片是痛点，与高清大图的高显存占用问题相伴存在
- 原工作流
- 后期处理 - 缺点 - 细节模糊，无法放大低清晰度图片
- tiled放大 - 缺点 - 受制于显存
- 图生图放大 - 缺点 - 受制于显存
- upscaler脚本缺点
- ultimate upscaler脚本：效果较好，比起tiled diffusion有所不如
- 现在的工作流：tiled diffusion + tiled vae +controlnet tile模式配合使用
1.1.2. 图片分块控制生成
- 目标：局部控制生成的图片
- 其他工作流：controlNet的seg模式
1.2. Tiled diffusion(分块扩散)
- 问题：放大超大图片时，一次性整体去噪对显存要求太高
- 原理：分块生成，再拼合在一起，降低显存使用上限
1.3. Tiled VAE（分块VAE）
- 问题：VAE解码超大图片是痛点，与高清大图的高显存占用问题相伴存在
- 原理：分块进行VAE，降低显存使用上限
1.4. 安装方法
1.5. 参数设置
1.5.1. Tiled diffusion
- 分块扩散
- 保持图片大小
- 方案
- 潜空间分块高度/宽度
- 潜空间与像素空间的比例是1:8
- 分块高度/宽度越大，分块越少，需要的显存就越大
- 分块高度/宽度越小，分块越多，需要的显存就越小，时间会拉长
- 潜空间分块重叠
- 噪声反转
- tiled diffusion + controlnet tile模式可配合使用，丰富图像细节
- 分区提示词控制
1.5.2. Tiled VAE
- 编码器分块大小
- 解码器分块大小
- 使用快速编码器
- 快速编码器颜色修复
- 使用快速解码器