AI生成视频 — Midjourney × Runway

随着算力提升与算法迭代，现在各种AI大模型日新月异，在各个领域发挥着专业水平，奔着对现在ai视频生成能力的好奇，这里体验了一下用Midjourney与Runway生成几秒的短镜头，并记录下使用方法，与大家一起学习，不足的地方欢迎指出。

midjourney是一款AI绘画工具。通过输入文字或上传图片，可快速生成高质量的艺术作品，支持多种绘画风格，并拥有丰富的社区生态，是创作和艺术表达的新选择。

官网：https://www.midjourney.com

Runway是一款AI驱动的创意设计工具。它利用深度学习，可以实现图像/视频/音频生成、视频转描、口型同步、风格迁移和3D模型设计等多元化功能。

官网：https://app.runwayml.com

midjourney的生图教程网上有很多这里不做赘述了，Runway可通过上述链接登录官网，使用苹果账号或谷歌账号进行注册，进入首页后选择“文本/图片生成视频”这个模块，进入工作区。

新注册用户有105秒的体验时长，每次每次生成消耗4秒，只能选择小尺寸，生成视频带水印。整体生成操作比较简单，工具集中在左侧，右侧为生成结果展示区。

生成视频可以单独用文字描述，也可以上传图片配合文字描述表达效果。现阶段单独用文字描述的效果不是很理想，我选择的采用MJ生成图片，再到runway里垫图加描述的方式到达目的。

（注：当前选择图生视频不能使用网站提供的风格滤镜与训练的模型。）

像摄像机一样拍摄整个画面，调整参数控制整个镜头移动，可进行推、拉、摇、移、旋转的操作。

感觉是runway的核心功能，通过五种不同颜色的笔刷，分别控制独立区域，可对参数进行单独修改，涂鸦方式有画笔或油漆桶可选，油漆桶更快捷，画笔更灵活。画面的运动效果目前是4种，下图所示。

油漆桶模式效果（单击区域即可，但选区不可控）

画笔模式效果（直接用画笔涂抹，配合橡皮擦使用效果更好）

参数设置完，点击生成，等待1-2分钟可生成一个4秒的视频，如果满意可以选择直接下载或再延迟4四秒，如果不满意可通过左边的工具栏直接按上述步骤修改参数即可。

（动图较多，可能需要一些加载时间）