FusionX最新视频生成模型详细教程,所有你要的相关工作流都在这里,整合包解压即用,附云端使用方法
详细介绍FusionX视频生成模型的使用,涵盖六大工作流、整合包安装及帧数优化技巧。
UP主: AI匹夫 · 时长: 9:42 · 🔗 B站原视频
标签: AI视频生成 · FusionX · 工作流 · 视频教程
FusionX 模型简介与效果展示
无语男子在别墅里面唱K,水池里面银龙鱼,我送阿sir茶具,他研墨下笔,直接给我四个字“大展宏图”,大师亲手提笔字大展宏图,在办公室大展宏图,关公都点头。刚才大家所看到的视频效果,都是通过当下最火的模型 FusionX 做出来的。这个模型里集成了视频加速、视频修复、镜头控制等一系列最新的技术,短时间内就可以生出高质量的视频。
整合包与三种使用方法
我已经把这个模型所用到的六个工作流,能想到的都给大家整理好了。三天时间的测试已经没有任何问题,并且工作流里用到了视频加速节点 Sergetation,有很多人装不上这个,您可以解压即用。
提供三种使用方法: 第一种就是整合包。我会把这六个工作流包括模型都传到网盘,你下载解压即用。不要像有个哥们儿似的上来就跪求整合包,你仔细看一下置顶链接,有的时候你真的很像 NPC,弄得我都不知道怎么回答你。
第二种方法,六个工作流我也会传到网盘,你们自己直接下载对应模型使用。
第三种方法,我会在视频后面跟大家讲云端上如何使用,比如说上传自己的 LoRA、上传自己的工作流。
帧数设置与视频卡顿解决方法
今天我们不从零搭建工作流,主要聊一聊帧数的使用方法。我发现好多人在帧数设置上,比如帧插值技术、跳帧,或者是视频卡顿,不知道该怎么解决。我们用两分钟时间来解决这个问题。
我们用“动作迁移”这个工作流来给大家做演示。更换一下视频素材,一切都改为默认。首先可以看到这个视频,总帧数是649帧,每秒30帧,换算下来就是21秒不到22秒的视频。如果我给它改成8帧每秒,视频就会变得非常卡顿,但是它的总帧数变成了173帧。理论上你是4090显卡,就可以同时重绘这173帧,变成一个20秒的视频。
有人老说怎么延长视频,减帧数是个最好的方法,可是效果不好。我在第一个视频里,一张图生成视频用到了 RIFE 帧插值的技术,它会把你当前的视频乘以二,总帧数乘以二,就是173×2。可是它的效果很差,所以我就没有再用了。如果想使用的话,你可以去下载自己测试一下。
长视频分段重绘与帧数同步技巧
那如何使用30帧,重绘这600多帧高质量的视频呢?这是我的方法:比如我先重绘81帧,也就是一个两秒不到三秒的视频。重绘完这81帧以后,我在下面设置跳帧,跳过81帧,再重绘81帧,也就是重绘后面的帧数了。再重绘完以后就162帧了,然后重复162帧以后的这81帧。
在这个地方,如何让生成的视频同步呢?非常简单,不管你怎么改,这两个30帧永远是对应的。你这地方如果改成8,那你这个位置就是8,这样生成的视频就对应上了,这两个帧数一定是对应的。帧数就给大家讲到这,如果能明白,希望能得到你们的反馈,给一个弹幕或者发一个评论。
文生视频与图生视频工作流解析
我们现在聊聊这几个工作流。从文生视频开始讲起,我们能修改的地方只有宽高和帧数。总帧数81帧,每秒8帧我们给它改为16帧,输出格式改为 H264 MP4 就可以,这就是一个五秒的视频,我这就不测试了。步数我们可以改为8步,时间能节省很多。
然后再看图生视频。我这里有测试,原图是这个,关键字是“一个戴着VR眼镜的女人在跳舞”。我们可以使用中文关键字,比如“背景是澎湃的瀑布,夕阳照在她的脸上”。每一句话它都完美参考了,VR眼镜、背景瀑布、人物都保留了。虽然有些卡顿,因为是16帧,总共81帧五秒的视频。步数一样可以改到8步。
首尾帧生成的时间会稍微长一点。能改的地方就是81帧,你只要修改 480×848,它尾帧的宽与高,跟 VAE Coder 的宽与高同时就都修改了,它们都是连接好的。其他需要修改的地方,就是在你生成最终视频的时候,它会把参考的首帧和尾帧跟视频一起生成出来。如果你不想要,就按 Ctrl+B 把它禁用掉,然后再生成就可以了。
人物重绘与动作迁移工作流
人物重绘这个工作流,在不改变任何背景的前提下更改里面的人物。它会通过 Segment Anything 节点取出这个人物,然后把你参考图的人物替换掉。在视频开场的时候有详细的成功演示。其他需要修改的地方就没有了,如果要修改帧数在这里修改。默认每秒30帧,总帧数149帧,是个五秒的视频,生成速度会非常慢。所以我们可以改为16帧,总帧数变77帧,速度就很快了,虽然同样是一个五秒的视频。
接下来是动作迁移,让生成的女人完全复刻参考人物的动作,但是背景不变。我们能改的参数还是81帧、每秒30帧,换算下来是两秒多三秒的视频,改为16帧就是五秒的视频。关键字中文英文都可以,其他的就不需要修改了。参考视频改不改无所谓,不影响,因为它会用深度图和姿势图取出人物的动作。这个生成时间会很慢,因为跟底模没关系,通过这两个图它就会读取出来。
动作参考这个位置我也做了一个测试,原图我只取动作和姿势,别的并没有取。然后通过关键字就可以生成一个无中生有的视频,比如“一个女人戴着VR眼镜在薄雾笼罩的城市中跳舞”,它就会参考原视频的动作,生成效果非常好。
云端部署与显卡配置指南
我们聊聊怎么在云端上使用。首先进到视频里,复制云端地址粘贴。不管你的界面是什么,注册登录以后,在镜像社区里搜索作者名“匹夫”,就可以找到所有我上传的工作流,包括训练 LoRA 的、一张图生成全流程的,以及最新的这个。
我们直接点部署实例。在这个界面可以选择想要的显卡,比如40系的或者是 A100。A100 每小时十块钱,有 80G 的显存,土豪可以测试。像我们用 4090 24G 就够用了。如果 24G 不够,可以添加 GPU 的数量,当然价格也会翻倍涨。我一般用一个 GPU 就可以,点击立即部署。
当实例显示运行中的时候,稍等一分钟,点击 ComfyUI 就可以进来了。在这里能找到关于 FusionX 的这六个工作流,直接使用即可。如果您觉得慢,可以把机器先关机,点击更改配置、更改实例规格,增加一个 GPU,它就变成两个 4090,也就是 48G 了,价格也会高一些。如果没有很高要求,24G 足够我们用。
云端模型上传与文件保存
如果你想上传一些模型,比如 LoRA,我们就点 Lab,里面有一个 root 用户,找到 ComfyUI/models 目录下,这跟我们本地是一样的。LoRA 或者是 Diffusion Models 这些大模型都可以直接上传,传完之后就可以在工作流里加载使用了。
关于云端生成的视频怎么保存?直接在 ComfyUI 里点击生成的视频,按右键点 Save,视频就会下载到本地。也可以直接导出整个工作流,点导出就能下载。我们也可以在 ComfyUI/output 文件夹下找到生成的视频和图片,直接右键点击下载即可。
所有在云端遇到的问题,都可以扫描屏幕下方的二维码,这是我跟云端技术一起建立的群。如果问题解决不了,我会把你花费的钱退给你,因为你是信任我才使用云端的,很感谢你。如果你不是云端用户,也可以进群讨论一些 AI 的事情。感谢给我点赞和关注的朋友,我们今天就聊到这,谢谢你们。