1. 文生视频与图生视频

1.1. 目前AI生成视频的类别

  • 文生视频
    • 写提示词直接生成视频
    • 工具：stable diffusion的AnimateDiff插件
  • 图生视频
    • 先生成关键帧图片，再生成视频
    • 工具：pika lab
  • 视频转视频(未来工作流中详解)

1.2. 文生视频 SD AnimateDiff插件

1.2.1. 原理

  • 生成若干张图，再拼到一起，形成视频
    • 什么是帧：构成视频的单张图片
    • 什么是关键帧
  • 动画模型让多张图之间变化不大，并且有相关性

1.2.2. 安装方法

1.2.3. 参数设置

  • 动画模型
    • 让stable diffusion拥有动画的智能
    • 唯一推荐：animatediffMotion_v15V2.ckpt
  • 总帧数：一共生成多少张画面
  • 上下文单批数量：建议设置为16
  • 帧率
    • 一秒钟生成多少张画面
    • 注意：最好总帧数/帧率不要大于2，也就是说视频一次生成不要超过两秒
  • 保存格式
    • 可以保存为什么格式。主要是mp4格式和gif格式比较实用
    • mp4格式的清晰度最高
  • stable diffusion本来参数影响
    • 宽度高度影响视频的结果
    • 高清修复可以使用，会极大提高视频的分辨率，也会导致巨大的显存占用与时间使用
    • 种子随机即可
    • 可以使用lora与插件
      • after detailer：会一帧一帧的修复脸
    • 修改总批次数可以生成多个视频
  • prompt travel（提示词穿梭）
    • 格式
      • 前置全局提示词：1girl, full body, standing,
      • <关键帧位置>:<空格><提示词内容>
        • 0: in summer,
        • 16: in autumn
        • 32: in winter,
      • 后置全局提示词（可选）：smile
    • 注意点
      • 可以使用lora
      • 间隔最好是上下文单批数量的倍数：16最佳
      • 总帧数大于最后一行的数字
  • 闭环
    • 解决的问题：如何让生成的视频前后闭环，形成丝滑的循环播放
    • 非提示词穿梭情况下
      • N：生成的视频完全不会成为循环
      • R-P：文生图成为循环
      • R+P：文生图成为循环
      • A：文生图成为循环
    • 提示词穿梭情况下
      • N：生成的视频完全不会成为循环
      • R-P：文生图成为循环，程度较弱
      • R+P：文生图成为循环，程度更强
      • A：文生图成为循环，程度最强
  • 步幅
    • 作用：让画面产生跳跃的效果
    • 参数设置注意点
      • 只能为2^n次
      • 绝大多数情况下默认为1
  • 重叠
    • 作用：上下文中重叠的帧数
    • 参数设置注意点
      • -1：代表默认，等同于上下文单批数量/4
      • 一般默认就好影响不大
  • 视频控制（不推荐使用）
    • 作用：利用视频的每一帧控制controlNet
    • 注意点：controlNet无需输入图片，只需要选择预处理器勾选启用就好了

1.2.4. ControlNet联动

  • ip adapater
    • 可以放入图片让SD参考
  • 注意点
    • 绝大多数controlnet使用后会导致画面下降，需要降低控制权重提高画质

1.2.5. 注意点

  • 一定要关闭动态提示词插件
  • 如果本来好好的突然出现报错，尝试重启往往能解决问题
  • 生成视频的画质，是不如直接生成的图片的

1.2.6. 优缺点

  • 优点
    • 本地安装
    • 可以根据大模型控制画面内容
  • 缺点
    • 对显卡的显存要求太高 12GB起步
    • 无法生成大家想象中那种完美的视频，甚至单帧都不能达到一般出图的质量

1.2.7. 如何实现图生视频？

  • 在图生图界面传入初始帧，重绘幅度0.3-0.8，其他的和文生图一样
    • 注意点：重绘幅度高后，画面变化比较大
  • 如何保证画面变化不大？
    • 参数设置
      • 保持图生图的图片与最后一帧的图片一致
      • 开启controlNet tile模式
      • 控制权重0.6-1：权重越高画面变化越小
      • 控制模式改为更偏向提示词
    • 注意点：完全固定不可能，怎么变化模型的能力

1.3. 图生视频 pika lab（免费）

  • 优点
    • 免费
    • 好用
  • 如何进入：https://discord.com/guild-discovery
  • 操作流程
    • 进入discord pikalab服务器 地址：https://discord.com/invite/pika
    • 私信pika机器人，避免人多太混乱
    • 输入命令 /create，上传图片与提示词
    • 提示词写作
      • 提示词不要写的太多，画面主体、背景简单写一下就好
      • 动作提示词不要写的太准确
    • 多刷几次，下载生成的视频：在哪里可以看到自己被刷上去的视频？：收件箱
  • 参数
    • -ar <比例>
      • 效果：决定视频的分辨率
    • gs <整数>
      • 效果：决定文本提示词对画面的影响程度
      • 参数范围：8-24
    • -neg <提示词>
      • 效果：类似于SD反向提示词的效果，不要什么
    • -seed <数字>
      • 效果：相同的数字生成近乎相同的结果
    • -motion <数字>
      • 效果：改变画面动作幅度
      • 参数范围：0/1/2/3/4
  • 注意点：更适合简单主体的小范围动效，或者一些漫画的光影变化之类

1.4. AI生视频效果总结

  • 目前，AI文生视频、图生视频还处于非常初级的阶段，我们用AI做视频，要扬长避短
  • 更进阶的玩法，工作流课程中体现

results matching ""

    No results matching ""