1. AI视频工作流 - Deforum插件
1.1. Deforum插件介绍
- 名称：Deforum
- 优点
- 可以直接投入视频场景进行应用和商用
- 充分发挥AI的能力
1.2. 安装
- 使用秋叶整合包：旧版webui会报错，要更新到最新版
- 安装ffmpeg：详见SD大师课第二十二节 如何制作简易数字人
- 插件安装
- 注意点
- 部分笔记本电脑会报错
- 路径不可以有中文
- 从网址安装 https://github.com/deforum-art/sd-webui-deforum
- 安装包：网盘提供
- 注意点
- 模型安装：在使用的时候可以自动下载，无需提前安装
1.3. 该如何学习复杂的插件？
- 理解原理，并围绕原理去理解参数
- 点击“显示更多信息”
1.4. deform生成视频的原理拆解与参数设置
1.4.1. 可以从一个起点开始，也可以不需要起点
- 可以从提示词生成的随机图片开始
- 可以从给定一个图片开始
- 可以把视频素材最后一帧截取下来，再交给SD生成后续内容，最后拼回去
- 可以通过倒放的方式，让视频最后变成一个logo或者指定图片
- 可以给定一个视频开始（如案例所示）
- 可以给定一个视频，对视频进行转绘（工作流中有更好的插件）
- 可以让每一帧的蒙版不一样（不用）
1.4.2. 用AI每秒生成几十张图像用于组成视频
- 基础设置
- 注意点
- 文生图的参数都没用，只有插件内的参数设置有用
- 大模型可以使用SDXL和SD1.5，都可以
- 采样方法、迭代步数、宽度、高度......如文生图一样设置
- 注意点
- 关键帧
- 作用：控制视频怎么变化
- 提示词
- 正向提示词 每张图片都有的正面提示词
- 负向提示词 每张图片都有的负面提示词
- 提示词：格式
- 案例
{ "0": "5-year-old girl", "20": 10-year-old girl", "40": "20-year-old girl", "60": "30-year-old girl" } - 格式
{ "<关键帧1>": "<提示词内容1>", "<关键帧2>": "<提示词内容2>" } - 注意点
- 如果不想记住格式，直接修改作者/轩轩给的格式就好了
- 最后一行关键帧千万不要加逗号，否则报错
- 案例
- 动画模式：决定镜头的运动模式
- 边界处理模式
- 复制（会导致边缘拉丝）
- 覆盖：类似于自动生成内容填充
- 重要参数
- 强度 作用：下一张图片多大程度上参考上一张图片
- 模型 作用：在不同的阶段，切换到不同的模型
- 运动
- 作用：让相机镜头动起来
- 注意点
- 可以在不同的帧数对运动变化进行
- 可以组合使用
- 可以运用数学公式让每一帧的参数都不一样
- 运动预览模式
- 深度变形 作用：当画面发生运动的时候，边缘会发生变形
- 格式
- <关键帧数1>: (<参数值1>),<关键帧数2>: (<参数值2>),
- 注意点
- 字符串要加双引号
- 冒号后面要加空格
- 注意点
- 0: ("model1.ckpt"), 100: ("model2.safetensors")
- <关键帧数1>: (<参数值1>),<关键帧数2>: (<参数值2>),
1.4.3. 把图片拼在一起导出出来
- 帧率：生成的几十上百张图片，每秒钟播放多少张
- 音乐
- 要不要加音乐？ 添加音轨
- 音乐地址在哪里？ 音轨路径
- 中间过程图片材料处理
- 要不要把图片合成视频？
- 要不要保存图片？
- 要不要删除输入的图片？
- 要不要保存深度图？
- 要不要存个gif？
- 视频要不要放大？
- 放大多少倍？
- 用什么算法放大？
- 要不要保留原视频？
- 生成的视频地址在哪里
- E:\sd-webui-aki-v4.4\output
1.4.4. 后期处理（视频出来后的处理）
- 帧插值
- 作用：把低帧率的视频通过算法变成高帧率的视频
- 引擎
- 作用：用何种算法进行帧插值
- 无脑选FILM
- 功能
- 视频插帧 注意点
- 可自行修改每秒帧数，决定插帧数量
- 图片插帧 注意点
- 图片分辨率一样大
- 可以上传多张图片
- 视频插帧 注意点
- 视频放大 作用：把视频放大
- 视频转深度（几乎不用） 作用：把图像转为深度图视频
- 帧图片转视频（几乎不用）：下节课会学到更方便的isnet-pro
- 如何保存工作流