1. ControlNet 风格约束 ip adapter
1.1. 曾经风格约束的方法众多(情境)
- 提示词还原:菜
- lora:麻烦
- Shuffle:菜
- reference:菜
- t2ia style:菜
1.2. ip-adapter实现 风格约束
- 简单原理讲解:把图片作为提示词传入
- 一张图即可实现风格转移
- 元素
- 构图
- 色彩
- 相比于炼制好的lora来说,还有所不足。但是是单张图片的天花板了 : 准确度较高
1.3. 预处理器区别
对应Stable diffusion的不同版本,1.5用第一个,xl用第二个
1.4. 注意点
- 在风格约束上,ip adapter只能在大模型力所能及的范围内模仿
- 相比较于文本提示词,ip adapter更能探索ai生成能力的边界
- controlNet参考图分辨率和生成图片分辨率可以不一样
- 参数设置
- 控制权重范围(可以反复调节实验效果)
- 0.2-0.4 略做参考
- 0.4-0.7 非常类似
- 0.8-0.9 争取一样
- 控制权重范围(可以反复调节实验效果)
1.5. 应用
- 静物图不出人
- 静物图构图模仿
- 实现一些强大的艺术风格
- 室内设计风格模仿