AI短片《珍贵的脏》导演工作流揭秘直播
导演陈小雨深度拆解AI短片《珍贵的脏》的制作全流程,分享AI视频创作的导演工作流与技术心得。
UP主: 搞电影的陈小雨 · 时长: 2h33m · 🔗 B站原视频
标签: AI视频 · AIGC · 导演工作流 · 视频剪辑 · 影视创作
开场与影片回顾
大家片子都看过了吗?看过的扣个一,没看过的扣个二。直播是有回放的。我看大部分都看过了,那就可以直接讲了。觉得需要回顾一下再开始讲的扣个三,觉得不需要回顾直接开始的扣个四。三多一点,那我们就回顾一下吧,这样也给我一个进入状态的时间。我直接在软件层面上播放了。
It was a boy that I knew in the human world. We had a good time together. This is the map to the human world, but I am too old for this kind of trip. You can go wherever you want, but be aware that most humans are crazy as fuck. I will find your boy, Mama. Looking forward to seeing someone crazier than you. The rainbow fall strips away all fantasies and making everything real. You will never get back. Who knows, maybe I don't want to come back. Wait. Sorry for scaring the shit out of you. My kids are not coming back this year. I just want you to have dinner with me. But I'm vegan. What a surprise family tradition. It turns out the old man is not a psychopath. He's just lonely. The human world is beautiful, but also a pain in the ass with transparent creatures stealing my hat and scarlet fucking robbers. Give me my case back! Here you go, make money buddy. What's that? You need a ride? There are some good humans after all. I have nothing there. What's there to check? Boring. Boring. Every human looks exactly the same. Same hair, same skin, no claws, not even a tail. How on earth am I supposed to recognize anyone? This is worse than the rainbow. Don't worry little bunny, I can fix you. Granny is awesome. I am full of cotton now. The kids look all the same. This is crazy. I hate this world. I hear you, brother. Never ever forget why you started. If you find the house, you can find the boy. Every house looks the same. It's impossible. It's a huge city, too many people, too many houses. But money always finds the way. Let's find you some work. What's work? It's like playing games. No way, I love games. You paid your tuition, brother. Hope you learned the lesson. Mama, I felt I'll never find your boy. No, no, no, no. Why do they all look like me? But I guess I am unique. My dear little bear, where have you been? Are you happy?
对,齿轮那个是完全致敬《摩登时代》,卓别林的是直接用的那一帧,那确实也是经典电影了,现在也到公版了,我们做了一个直接的致敬。
项目筹备与视觉参考
好啦,片子就是这样一部片子。今天的直播分享最主要的就是把整个片子的创作过程分享给大家。
首先,每一个项目在开始之前,我们都会建立一个飞书的在线文档。因为我们有很多小伙伴一起工作,这里面就会有各种各样的参考和资料。包括片名,我们其实参考了那个时候很多老上海的美术字,后来觉得舞会的这种感觉比较适合,就请了设计师专门写了这个片名。
视觉参考上,我们会先去找一个定位。这是我很喜欢的一本画册叫《彼岸》,是陈志勇画的。我们参考的是它里面的分镜手法,它拆得非常开。虽然它是一个平面的画册,但是有非常多蒙太奇的感觉。它讲述的是一个家园被怪物侵害的地方,一个父亲先去另外一个国度避难,最终要把家人一起接过去的故事。
你看他这里的呈现,没有展现怪物的全貌,而是通过光影关系做了一些暗示,我觉得这是特别有意思的一点。这里我们可以看到照片慢慢拉出去,拉到远景,他在船上的这种构成,虽然是漫画,但给你感觉这就是一个长镜头。按照现在AI的逻辑,这一组镜头你放在智能多帧里面,直接就可以生成为一个长镜头。
然后他通过不同云彩之间的变化,展现他在船上航行了非常长的时间,再通过手部细节的切换,让我们能够在一种比较轻松的节奏里去收束故事的叙事进程,让它变得更加紧凑。所以我们一开始就比较确定,陈志勇的这个画册是我们分镜思路的参考。我们肯定还是会有很多特写去把节奏切碎,而不是以一场戏作为一个长镜头的方式去进行。
心法与招式:AI创作的底层逻辑
回到今天的思维导图里。首先是影片定位,我们要定很多调子。今天我希望教给大家的更多是一个“心法”或者说内功的东西。除了心法之外,还有很多东西是“招式”。
我们在现在大部分的教程上看到的都是招式。我从来不说我这个东西是教程,我一直说的是工作流的分享。教程更多教给你的是招式,招式非常重要,我也经常在网上学招式。但区别在于,心法是更内核的东西,需要你举一反三。掌握了心法,它的学习回报周期实际上会很长。它不见得马上能让你非常有效地用,但是招式是技能型的,学得快,回报周期也短。
现在软件更迭速度非常快,你想要学一招一直用是不可能的。以前拍宣传片都是三板斧,一招鲜吃遍天,大门敞开航拍绕一绕,前台笑一笑,靠这套东西能挣个十年的钱。可是现在不行了,你必须不断学习新的招式,但是一些心法它是不变的,它是根本性的规律。
影片定位与预算分配
为什么我最早提出的是影片定位?如果大家对《珍贵的脏》这套工作流只停留在招式层面,直接照搬去做你的项目,可能是不work的,里面很多东西可能并不匹配。
每部影片都有目标受众和发布渠道,发布渠道决定了观影环境。网络观影环境和院线观影环境完全不一样,它甚至会影响到剧本怎么写、片长是多长。如果我这部片子纯粹走院线长片,我不会像《珍贵的脏》这样写剧本,不会一上来熊妈妈就跟小兔子说“我在人类世界曾经认识一个男孩”。我会需要有一个更完整的世界观铺垫。
但我知道这是一部短片,主要观众是在互联网上看的。互联网的观影环境就是讲究三秒跳出率、五秒完播率。大家是在刷手机的过程中刷到这个视频的,我没有时间给大家铺垫。如果你上来搞个黑场营造氛围、声音渐起,那是电影院的搞法。在互联网上这么搞,第一个镜头还没出现大家已经划走了。
影片的目的也非常重要。你为什么要做这部影片?是为了学习实验、商业接单、艺术自我表达,还是为长片铺垫?不同的目的决定了影片的预算完全不一样。预算不仅是钱,还有时间。预算决定了资源分配的比例。
举个例子,《珍贵的脏》是有一定预算的,是即梦找我们做的。但预算也没有宽裕到哪里去,因为我们还有其他电影长片和商业广告,在这三个月里,我能腾出来的时间周期只有一个月。
如果我有一个月的时间,我会选择不同的工作流。比如在升分辨率环节,如果我们是面向院线的大商业项目,我们可以在本地跑Topaz,每个镜头单独跑,测试哪个模型效果更好。但它麻烦在时间长。全片153个镜头,如果每个镜头多花10分钟,就会多花1530分钟,也就是25.5个小时。
所以我会选择即梦内置的提升分辨率按钮,一键提升。它有时候效果不如Topaz好,但我知道在这个项目里我没有这多出来的10分钟,所以我就会选择大差不差的方式。做任何工作流,你要想好这部片子到底要投入怎样的时间成本。
文件管理与“一人部门”
项目管理上,我现在主力用的是Windows系统,因为算力更强劲。我会用到一个软件叫One Commander,它可以让我同时开两个界面,一个是下载界面,一个是项目界面。
我的文件夹结构分为:
BTS(Behind the Scene):幕后花絮,包括一些不可用但挺搞笑的角色生成。export:所有输出的版本、预告片、小样。final image:所有可以用来生成最终视频的画面。process image:过程中的图片,比如最后绿色假人要被替换成小兔子之前的中间步骤。SFX:音效。stills:海报类型的平面。titles:片名设计。videos:所有可用的视频镜头。VO:所有的旁白(主要用ElevenLabs和MiniMax生成)。
为什么用英文?因为很多软件在路径调用过程中如果有中文会乱码,所以统一用英文。
现在我们推荐的工作流都是在线的大模型,因为它们在服务器云端跑,没有阉割,性能更强。我不推荐大家做本地部署,除非你有庞大的队伍去优化。
在稍微有预算的片子里,我现在提倡一个概念叫“一人部门”。“一人剧组”是你一个人身兼导演、编剧、剪辑、美术、摄影、造型。但在传统的影视行业里,电影是高度分工的。摄影指导(Director of Photography)是画面的导演,美术指导(Art Director)是艺术层面的导演。
你找他们来,不是光为了执行导演的想法。一个导演可能有很好的剧本把控能力,但不可能在所有领域做到专精。摄影指导脑子里有镜头的实现方法,美术指导脑子里有不同风格的场景布置,造型指导脑子里有几百种毛衣的样式和材质。他们进来会带来他们的审美经验、直觉和视角。
如果你有预算,不要把钱全自己拿了,不要给自己设限。找这些各个部门的专家进来,扩展你的能力和审美边界。
人的原创性与AI的养料
有了影片定位之后,要想清楚在做AI影片时,哪些东西是你的,哪些东西是AI的。
现在AI只是一个开始,网上很多人骂AI是缝合怪、尸块。在电影发展的100多年里,视听语言一直在借鉴和继承。但AI确实容易出现一个问题:它给你的画面如果大于你驾驭它的能力,你就会变成接受它抛给你的东西,而你offer的东西太少了。
怎么在AI影片中加入更多原创比例?这个原创比例来自于你平时对生活的观察、审美累积和对世界独特的感受。你把这些感受跟AI碰撞,把AI当成养料(水、阳光、土壤),让你原创的想法(种子)生长为树。养料绝对不可以成为种子。
你必须清楚自己为什么要做这部片子。就像做饭,我想让大家吃饱,或者想带来温暖的感受。创作要有原发性,某天我恋爱了,想把美好的感受表达出来,这是核心感受;爱情破灭了,我产生了思考,这是核心思考。如果你没有这两样东西,只是让AI生成一个剧本,你就失去主体性了,变成了机器的仆人。
所以写剧本这个环节,我们没有依赖AI。AI可以做调研辅助,但剧本永远自己写,因为这是原发性的种子。
这个种子和养料的比例怎么控制?跟预算有关。在《珍贵的脏》里,主角兔子最初是我们自己3D建模的,所以它是全片最特殊的存在。其他角色是用AI生成的,在AI基础上做了调整。如果每个角色的底稿都是自己做的,肯定会好很多。我建议大家做项目时,主角至少自己画个底稿喂给AI,或者把现实生活中的照片拍下来喂给AI。比如片子里的毯子,很多都是卡姐在现实中真实钩针做的毯子,拍进来让AI调用。
交替迭代工作流
在AI时代之前,传统影视是顺序工作流:剧本 -> 前期筹备 -> 拍摄 -> 后期制作(剪辑、调色、声音)。如果在剪辑台上发现镜头不够,补拍是非常难协调的。
但现在是交替迭代工作流。剪辑阶段觉得缺素材,直接回去生成;剪着发现故事有问题,直接改剧本再生成。检验也提前了,我随时做一个镜头,就放到时间线里看一下。
检验AI画面与达芬奇调色
检验AI画面时,大家优先看一致性(场景和角色),然后看美学(风格、构图、光影、色彩)。
光影是Bake in(烘焙进去)的,锁在画面里非常难调整。但色彩我们有非常强大的调色工具——达芬奇 (DaVinci Resolve)。如果素材跑得不要太远,基本上都能调回来。
经常看到有人生成了完全可用的素材,光影、构图、一致性全对,只是色温偏暖,就放弃了。为什么不导到软件里调一下色温呢?你再重新生成,不见得能抽到这么好的画面了。
比如片子里小男孩照片的画面,如果不调色,它比兔子要暖很多。我不会放弃,我会去调整。我在达芬奇里画了一个窗口把四周压暗,让光集中在照片上强调氛围,单独加了发光效果强调回忆感。不要一股脑调整体饱和度,画面里只有照片饱和度过高,就把它框出来单独调。
角色合成与光融合工作流
全景镜头非常难生成。当角色在画面中占比太少时,AI的算力分配不足,角色大概率会崩掉。
这时候怎么办?单独生成角色,把角色抠图合成进去。但直接抠图进去光影质感不对,会很假。这里有一招非常灵光,是Liblib上的“光融合”工作流(基于ComfyUI)。你把P得很粗糙的图上传,按直接生图,它就会帮你把整个画面的光影变得融合,角色的影子也会出来。
在角色替换或参考时,我们非常容易犯的错误是给AI带来混乱的信息。比如你需要景别匹配,你要生成一个站在巴士前面的半身像,你给的参考图却是一个全身照,AI就会懵。如果你要生成侧面,就给侧面的角色参考。你要做一个好甲方,需求要明确。
如果你要生成全身照,你应该限定画幅比例是9:16,而不是16:9。人是长的,你给个横的画幅,AI不知道你要干嘛,两边的像素点就浪费了。
高级合成与Fusion特效
片名《珍贵的脏》的动画也是AI生成的。原理是我先给它一个绿幕背景上的Logo,然后生成全绿的首帧,用首尾帧的方式让它生成动画。然后在达芬奇的Fusion界面里,用Delta Keyer把绿色抠掉,用Transform工具调整大小,加个投影。抠干净后,再新建复合片段,在调色界面进行精细调整,加光晕让毛线材质更柔和。
如果觉得兔子太矮,直接在达芬奇里用“变形器”功能拉长。我平时的口播瘦脸也是用这个。
有些镜头如果直接生成复杂的动作和背景,AI会非常吃力。我们就先把背景弄好,再单独让算力集中去生成兔子的转向。抠像后加上动态模糊,运动感会更强,而且能遮盖很多瑕疵。兔子的纽扣鼻子也是单独做了一个透明图层,用Tracker(跟踪器)追踪鼻子合成上去的。
绿色假人替换大法与场景复用
场景复用率是一个非常重要的概念。如果一个场景只出现一次,没有连续性要求,你可以直接把角色图片给AI,让它围绕角色生成环境,这样融合得特别好。
但如果场景要复用,或者很难一步到位,我们就会用“绿色假人”大法。比如你要生成一个高端工作室,你先不管角色,用一个绿色假人(或者红色假人)在画面里占个位置。你可以专心调构图、调场景、调灯光。等一切都搞完了,你再把绿色假人替换成你准确的角色参考图。
这就像在片场,导演不会让演员坐在那里弄半天调光,而是用光替。因为你要保留演员的最佳情绪。AI也是一样,你让它一次只完成一个目的,算力集中,掌控力就更强。
处理复杂动作与物理交互
AI很难处理复杂的物理运动。比如帽子被风吹走,帽子上有两个洞,耳朵要从洞里滑出来,这个物理过程太复杂了。我就用分镜的方式藏拙:先切一个草地被风吹起的特写展现风大,再切到帽子已经飞在空中的镜头,避过了帽子从脑袋上吹起来的复杂步骤。
再比如猫爪子把棉花钩开爆出来,我也进行了拆分:小兔子恐慌的表情 -> 猫爪弄过来 -> 黑场 -> 醒来时已经躺在那边,棉花爆出。
对于画外进来的东西(比如蛋糕砸在脸上),就用首尾帧。首帧没有蛋糕,尾帧蛋糕砸在脸上,让AI把它们融合在一起。
声音设计与AI配音
声音部分,我们主要用了两个平台。
一个是MiniMax(海螺),它有很丰富的音频库,输入文字就能生成,可以选择开心、难过等情绪,但情绪相对单一。
另一个是ElevenLabs,它可以在框里进行非常详细的调戏,比如要求“又奸诈又装逼的声音”、“温暖意大利口音”、“兴奋”、“大喊”、“轻声耳语”,基本上跟调教真人演员一样。它还有声音克隆(Speech-to-Speech)功能,很多时候是我先演一遍,然后让ElevenLabs把我的声音变成小兔子的声音,这样可以做表演上的引导。
双人对话的口型问题,我们用了即梦的数字人功能。上传角色图片和音频,它会给你对嘴型。但对完嘴型后,角色的皮肤会变得特别光滑。我们就用达芬奇的AI Face Refinement工具做反向磨皮,让它变粗糙,把纹理质感找回来。
问答与实操演示
Q:运动镜头中截图精度不够怎么办? A:有两种方法。一种是把模糊的图放到图片参考里,提示“保持画面构图不变,提升画面分辨率”洗一遍。另一种是调用专门升分辨率的模型,比如通过Freepik调用Magnific模型。但直接升可能会有问题,建议先把图降一遍分辨率,然后再升分辨率。
Q:集梦生成的图片调整次数越多越红越模糊怎么办? A:这时候需要手动介入。如果你Photoshop技术不好,我非常推荐国民级软件“美图秀秀”。自动抠图、合成、调色、角色整容(眼睛小一点、脸型变一变),它就是为整容而生的一款软件,非常专业。
Q:正片有3万人民币预算吗? A:商务的事情我不管,都交给同事了,我只管创作层面的事情。
Q:能来个绿色假人的简单实操吗? A:(实操演示)比如提示词“生成一个高端摄影工作室的场景,绿色假人坐在电脑桌前,面对镜头半身,有很多摄影器材和灯光器材,背景加入ARRI摄影机,昏暗有质感,伦勃朗光”。抽卡选到满意的场景后,再输入提示词“把图一的绿色假人换成图二的男子”,上传我的照片,就可以替换过来了。
今天能分享的都分享给大家了。我永远都不会开线上的收费课程,所有的知识都会免费分享给大家。我知道有很多观众心里有一团火焰,在旧世界中被压抑了太久,今天我们想找到一种方式让这种火焰重新绽放出来。如果你是心中拥有一团火焰无法熄灭的人,请你知道我做这些事情,最主要还是为了你们而做的。今天就到这里,谢谢大家。