Claude 和视频模型结合可能性太大了!
结合即梦短剧工作室,一下午就做出来很火的“性转马尔福”的桌面软件。
里面有好感度系统,会随着好感度的增长解锁新的剧情动画和着装。
平时它就住在你的桌面里,预置了很多动作和交互,而且每一个都是 4K 素材。
Mac 端是客户端的形式,Windows 上架在了 Steam 的 Wallpaper 创意工坊里:github.com/op7418/malfoy-desktop
大致写一下制作过程,你也可以参考。
同时我代码已经开源了,你可以把你喜欢的素材替换进去。
======
先介绍一下桌面的功能和效果
打开应用以后,会先播一段开场短剧,讲你和她是怎么认识的。全程是你的第一视角,中间有选项让你选,选的不一样,她的反应也不一样。
现在做好的是第一章,后面会接着更新第二章、第三章。
看完剧情,她就住进你的桌面了,待在斯莱特林的公共休息室里。
平时躺在沙发上看书,时不时翻一页、伸个懒腰,到了晚上 11 点还会自己睡着。你点她一下,她会抬起头来怼你一句,嘴硬得很。
每天来看她、点她、看完剧情,好感度都会涨。好感度越高,她叫你的称呼就越亲近,到一定程度还会换上居家的衣服,窝到壁炉边的扶手椅上喝茶。
相册里有 6 张她的照片,随好感度一张张解锁,每张背面都写着她想对你说的一句话。看过的剧情会存进"冥想盆",随时可以回看。
======
用即梦短剧工作室拍第一章
上传剧本
剧本是我自己写的,传上去以后,它会自动拆成一场一场的,人物、场景和出场关系也都识别好了。
有个小经验:人物小传里最好把角色身上不能变的东西写清楚。比如她左手小指戴着一枚蛇形尾戒,紧张的时候会用拇指转戒指,手腕上有一道血契的印记。垫图之外,提示词里也写上,会更稳定。
建资产库
做 AI 短剧最难的还是一致性,短剧越做越长,这个问题就越明显。
短剧工作室的思路是先把角色、场景和道具都做成资产存起来,写提示词的时候直接 @ 它就行。
场景这边,公共休息室第一版离沙发太远,她躺上去以后衣服细节根本看不清。我本来想重新抽卡,后来发现直接用「视角与构图-镜头」在原图上把镜头推近就行。它还能生成 720 度的场景环形图,最多拆成 12 张,这个场景不同角度的图随便选。
角色这边,我一开始垫图效果不太好。
后来不垫图了,先用文字把五官写清楚,抽到一张满意的定妆照,再拿它当唯一的脸部参考去做其他造型,人就稳下来了。
九宫格表情图和三视图都能一键生成,不用自己写提示词。
禁书区巡夜的管理员是个配角,我一个字的外形都没写,直接在 AI 角色库里挑了一个。
还有个小习惯:资产名直接用提示词里要 @ 的名字,比如"马尔福-校袍""休息室-沙发机位"。不然一个项目生成几百张图,很容易找不着。
分镜、导演台和样片
资产准备好以后,点「生成分镜脚本」,每场戏会拆成一个个镜头,景别、运镜、台词都标好了,资产也自动关联上。哪里不满意,直接用对话改。
她把我拽进书架缝的那场戏,两个人贴得特别近,站位很难用文字说清楚。
这种时候就用 3D 导演台,摆好白模和机位,直接输出到无限画布里当垫图。摆站位不用生成视频,摆对了再生成,能少抽很多次卡。
现在还有个样片模式,价格非常低,可以一直抽到样片对了,再渲染成成片。节奏对不对、镜头接不接得上,这时候就能看出来,后面返工少了很多。
生成视频
视频提示词我一般分五段写:运镜、人物与场景、和主角的互动、画面风格,最后是剧情和音频。场景细节、人物细节、饰品这些直接交给资产,提示词里只写资产里没有的东西。
对白是视频里直接生成的英式口音,不用另外配音。哪一句语气不对,用「片段重拍」把那几秒重新生成一下就好,其他部分都不用动。
做桌面片段
桌面上她的动作也是用同一套资产生成的,全部 4K、固定机位。
这里有个小技巧:先做一张她躺在沙发上看书的图当"锚点",每段动作都从这张图开始,再回到这张图结束。
这样任意两段动作都能直接接上,程序随机播放的时候,就像她一直在那儿生活一样。
我还专门生成了两段"环境在动、人不动"的视频。她不做动作的时候就循环播这两段,壁炉的火和窗外的水光一直在动,桌面不会显得很死。
======
代码部分
素材都有了以后,剩下的交给 Claude,我主要负责提需求和挑问题。
剪辑用的是 HyperFrames,可以用网页代码来做视频,字幕和配乐都能自动对齐。
转场我想要点霍格沃茨的味道,就让 Claude 用 Three.js 做了三种魔法效果:飞路粉的火焰、冥想盆的漩涡,还有魔杖的荧光。
======
最后
现在的 AI 短剧有一些很固定的套路和格式,即梦这种短剧工作室帮普通人做了非常多的工作,门槛降低了很多。
刚好赶上双十一,即梦在做活动,顺便帮他们卖一下会员:Seedance 2.5 生成视频最低 0.19 元一秒,用 CLI 最低 0.18 元一秒,年卡 4.5 折起,还多送 2 个月会员。想做一部自己的短剧,现在开会员真的挺划算的。