"毒液"AI宣傳片驚艷刷屏，導(dǎo)演楊晟與Vidu揭秘幕后細節(jié)！
文| 劉澍
這是好萊塢“五大”首次在華擁抱AI，不僅自破了曾經(jīng)公開抵制AI的宣言，而且扶持了本土創(chuàng)作者和技術(shù)公司，是全球頭部電影公司合作國內(nèi)科技文化人才和成果的一次成功嘗試。
潑墨成畫，萬物皆可毒藥。
隨著一點墨跡暈染整個屏幕，毒液以自由靈動之姿變幻為戰(zhàn)馬、魚、鶴等形態(tài)，肆意穿梭于海陸空，更能化身“毒液孔明燈”露出頑皮笑容，最后以本姿態(tài)落在中式樓閣的屋頂上，傲視周圍。
10月23日，正值《毒液：最后一舞》登陸全國院線，索尼電影官微發(fā)布了一支由AI制作的水墨風(fēng)宣傳片，引發(fā)了業(yè)內(nèi)外的劇烈熱議。
△ 《毒液：最后一舞》水墨風(fēng)獲網(wǎng)友好評
一方面在內(nèi)容畫面維度，眾人驚嘆于AI創(chuàng)作的精細度和絲滑度，另一方面在行業(yè)趨勢維度，這是好萊塢“五大”首次在華擁抱AI，不僅僅只是制作了一部好看的預(yù)告片，而且?guī)椭吮就羷?chuàng)作者和技術(shù)公司，是全球頭部電影公司合作國內(nèi)科技文化人才和成果的一次成功嘗試。
日前，基于這支AI宣傳片，極客電影獨家專訪了視頻的幕后核心——導(dǎo)演楊晟和北京生數(shù)科技有限公司（以下簡稱：生數(shù)科技）產(chǎn)品總監(jiān)張旭東，邀請他們各自從內(nèi)容和技術(shù)的角度，分享了宣傳片的制作過程、相關(guān)難點和所用的AI模型Vidu，以及AI應(yīng)用于影視行業(yè)的趨勢觀點。
△ 楊晟導(dǎo)演
△ 北京生數(shù)科技有限公司產(chǎn)品總監(jiān)張旭東
01 合規(guī)之內(nèi)，AI支持和增強創(chuàng)意實現(xiàn)：
索尼對AI的支持態(tài)度體現(xiàn)在尊重藝術(shù)家的需求，而不是強加功能或限制。
楊晟直言，AI宣傳片是索尼、生數(shù)科技和他自己三方碰撞出來的結(jié)果。
最開始，索尼的要求是制作一支足夠具有東方元素和中國特色的視頻，但是不能透露太多劇情，方式則不限定。
這顯然是一個開放性命題，給了藝術(shù)家很大空間，楊晟很興奮。
作為索尼重點扶持的導(dǎo)演，他認為索尼更深層次的想法是：內(nèi)容本身優(yōu)質(zhì)之外，制作方式也要走在行業(yè)前沿，產(chǎn)生廣泛的影響力。
就此，楊晟選擇聯(lián)合生數(shù)科技，共同完成命題。
生數(shù)科技是一家成立于2023年3月的新興科技公司，核心成員來自清華大學(xué)人工智能研究院，其自研的AI模型Vidu是國內(nèi)首個長時長、高一致性、高動態(tài)性的視頻大模型，支持文生視頻、圖生視頻、主體參照等功能，這次的AI宣傳片即由藝術(shù)家與Vidu合作執(zhí)行。
△ Vidu
據(jù)楊晟透露，索尼曾專門派人到生數(shù)科技，用一張2018年出圈的水墨風(fēng)海報去檢驗Vidu的能力。
現(xiàn)場，張旭東演示了數(shù)個版本的效果，得到了索尼的認可，合作得以繼續(xù)推進。
特別要提的是，考慮到合規(guī)性，索尼直接購買了藝術(shù)家與楊晟團隊所使用的200余張水墨風(fēng)原稿，然后再授權(quán)給楊晟團隊基于Vidu創(chuàng)作。”
簡言之：承制方創(chuàng)作畫稿→索尼購買畫稿→索尼授權(quán)畫稿→承制方使用畫稿生成視頻→索尼驗收并發(fā)布。
整個流程類似于動畫制作，而且是結(jié)合了日式和歐美式的動畫生產(chǎn)方式，形成了一種新的工作流。
使用的過程里，Vidu相當于攝影機、手機、PS或者Premiere，是創(chuàng)意實現(xiàn)的高效生產(chǎn)力工具。
這樣一來，索尼獲得了所需的創(chuàng)意效果，承制方則得到了實際操作的空間和自由度。
不過相關(guān)過程并非一蹴而就，在實際執(zhí)行環(huán)節(jié)里，楊晟與生數(shù)科技曾遇到過一個巨大挑戰(zhàn)，即藝術(shù)家與AI 技術(shù)人員在創(chuàng)作邏輯、主觀審美和工作方式等方面的理解差異。
對比來說，技術(shù)人員可能更注重技術(shù)和流程，而藝術(shù)家更注重創(chuàng)意和表現(xiàn)。
對于這種差異，轉(zhuǎn)譯工作就顯得尤為重要。楊晟和張旭東正式擔(dān)任了這種角色。
張旭東回憶，開始他不能對齊藝術(shù)家的需求和標準，比如什么樣的效果是導(dǎo)演更想要的。直到資深動畫導(dǎo)演凱倫坐在工位旁，從藝術(shù)的角度下講解后，他逐漸理解了導(dǎo)演的藝術(shù)偏好，并和內(nèi)部美學(xué)專家討論后，轉(zhuǎn)譯成相應(yīng)的指令輸入給模型。
Vidu 作為一個通用模型，能夠理解和表達很多風(fēng)格，但如何寫出合適的 prompt 和生成模型進行“溝通”，調(diào)動起模型的能力來生成出藝術(shù)家想要的東西，確實需要懂模型技術(shù)的人和藝術(shù)家來共同完成。
△ Vidu參考文森特·梵高《星月夜》生成的視頻
雙方深入溝通理解后，自然會促進效能快速提升，張旭東分享到，根據(jù)策劃和原稿，Vidu僅用半個工作日就生成了上千支視頻，供給藝術(shù)家挑選和優(yōu)化，再從中選出最優(yōu)質(zhì)的作品。
這種合作模式使得雙方都能充分發(fā)揮各自優(yōu)勢，極大節(jié)省了時間成本，提高了工作效率和產(chǎn)出效率，實現(xiàn)了高效率和高質(zhì)量的創(chuàng)意實現(xiàn)。
02 AI大模型Vidu：節(jié)省近90%的后期投入
用傳統(tǒng)影視的方式，制作一支30s的預(yù)告片大約需要30天，但是用Vidu只需要10個工作日。
談及應(yīng)用的技術(shù)原理，張旭東介紹，在圖生視頻之外，Vidu的首尾幀功能同樣對《毒液：最后一舞》的生成起到了重要作用。
這種作用特別體現(xiàn)在IP圖像的一致性上，比如經(jīng)常會看到這樣一種AI創(chuàng)作的情景，一個老爺爺牽著小女孩過馬路，一輛車駛過，下一秒老爺爺換了一個人。
首尾幀功能正好能盡力降低偏差率，以開頭和結(jié)尾的圖片約束和糾正影像細節(jié)，讓IP圖像前后高精度一致。
眾所周知，索尼在IP圖像上有嚴謹?shù)囊螅唤z一毫都不能有差錯，而Vidu有效避免了圖變bug，這是國內(nèi)AI技術(shù)的一大進步，也是AI應(yīng)用于影視IP的重大突破口。
張旭東進一步表示，基于模型的不斷升級，當下Vidu的一鍵生成視頻能力可以極大簡化短片的制作流程，同步顯著提升相關(guān)生產(chǎn)效率。
制作同樣一支宣傳片，對比傳統(tǒng)影視的投入，Vidu節(jié)省了近90%的后期投入，驅(qū)動總體的時間效率提升3倍。
數(shù)據(jù)規(guī)格上，Vidu能夠同時支持中英文指令輸入；時長方面，模型最長可支持一鍵32s視頻的生成，產(chǎn)品端開放了4s/8s的視頻時長；畫面質(zhì)感方面，最高可輸出1080p分辨率。
張旭東還提到了Vidu未來的升級方向，他們起了一個名為“參考生視頻”的概念，希望Vidu可以參考相對多的物體，現(xiàn)在它能夠參考單個物體，例如用一雙鞋，模擬人穿鞋在月球上，生成一支廣告片；或者提供一個“怪獸”的形象，安排怪獸做一些事情，都能保持很好的一致性。
△ Vidu產(chǎn)品中的“參考生視頻”功能
未來，據(jù)生數(shù)科技介紹，Vidu也將補充風(fēng)格參考能力，提升生成視頻的品質(zhì)感和藝術(shù)性，并且在同種風(fēng)格呈現(xiàn)中，同并保持人物、場景、道具等多個物體的一致性。
另外，張旭東和楊晟還提到，Vidu的設(shè)計也能啟發(fā)藝術(shù)家，提供超出預(yù)期的創(chuàng)作新思路。
在《毒液：最后一舞》的宣傳片里，中式樓閣就是典型案例。
本來只是給了Vidu一個很大概的想法，做一個中式屋頂，但是Vidu既做出了合理性的補全預(yù)測和3D模型，也自動生出了很驚艷的運鏡和各類細節(jié)。
△ 《毒液：最后一舞》AI宣傳片的“神運鏡”
值得說明一點，對于這支宣傳片，區(qū)別于絕大多數(shù)AI模型，Vidu的主要指令不是提示詞，而是首尾幀圖像。
這能更直觀地表達創(chuàng)作意圖，減少誤解，可以讓承制方更好地控制視頻的質(zhì)量和效果。
03 藝術(shù)家，只有跟科技公司結(jié)合才有未來
我們都在說影視工業(yè)化，真的到了那一天，就是創(chuàng)作者和科技公司緊密協(xié)作。宣傳片的藝術(shù)家團隊都說，只有跟科技公司結(jié)合才有未來。
就在索尼發(fā)布AI宣傳片的同期，全球影視行業(yè)亦傳來兩大重磅消息。
一個是大導(dǎo)演詹姆斯·卡梅隆（James Cameron）官宣加入Stability AI公司，這家公司的開源模型Stable Diffusion在圖像生成領(lǐng)域有著舉足輕重的地位。
△ 詹姆斯·卡梅隆加入Stability AI公司
詹姆斯·卡梅隆，面對生成式AI技術(shù)的崛起，他看到了AI與影像創(chuàng)作交匯的巨大潛力。
這兩種完全不同的創(chuàng)作引擎的融合，將為藝術(shù)家開啟全新的講故事方式，這是他們從未想象過的。
另一個是張藝謀談執(zhí)導(dǎo)《三體》，他直言，網(wǎng)友的正向或負向評價，他都接受，這會倒逼團隊創(chuàng)新視聽表達。
△ 張藝謀執(zhí)導(dǎo)《三體》
他已經(jīng)精選十余位AI人才，組成AI小組，將運用“中國制造”的新科技、新觀念開展創(chuàng)作。
隨著詹姆斯·卡梅隆和張藝謀的公開支持，影視行業(yè)將會加速AI應(yīng)用的進程。反之，這也會驅(qū)動AI科技公司快速精進技術(shù)，全球范圍內(nèi)皆是如此。
就現(xiàn)在的AI水平，張旭東和楊晟說到，如果將AI模型的發(fā)展階段比作電影學(xué)院的學(xué)生，ChatGPT3.5相當于初中生，可以理解部分內(nèi)容；GPT4相當于研究生，思考較為全面；OpenAI o1則更進一步，具有獨特的思維方式。
而隨著應(yīng)用案例和經(jīng)驗愈多，AI 的“學(xué)歷”將更高。
現(xiàn)在，AI能夠記住更多的專業(yè)詞匯，理解并執(zhí)行復(fù)雜的微調(diào)任務(wù)，如3D動態(tài)故事板著色；
其學(xué)習(xí)能力使得它在不同場景中的應(yīng)用更加靈活，可以根據(jù)具體需求進行定制化訓(xùn)練，從而提高工作效率和效果。
通過AI的這些能力，可以降低對上層構(gòu)造數(shù)據(jù)的訓(xùn)練難度，使整個流程更加智能化和高效。
細分到鏡頭運動，AI通過學(xué)習(xí)和訓(xùn)練，能夠理解和應(yīng)用鏡頭運動的基本原理，如推拉搖移等，從而提升視頻的視覺效果。
以及，通過對大量電影和視頻的分析，AI能夠?qū)W習(xí)到鏡頭運動的基本規(guī)律，并在實際應(yīng)用中加以運用。
△ Vidu生成的俯視視角視頻
△ Vidu生成的第一人稱視角視頻
這種對鏡頭運動的理解和應(yīng)用，使得AI在視頻制作中的應(yīng)用更加廣泛和深入，提升了整體的視覺體驗和藝術(shù)效果。
而鑒于AI模型規(guī)模的擴大和技術(shù)的升級，其性能和應(yīng)用范圍將得到進一步提升。
未來，AI模型有望在更多領(lǐng)域發(fā)揮作用，如綠幕特效、視頻補全等，這會更大地降低視頻制作的難度和成本，更快速地提高創(chuàng)作效率。
然而，盡管效能在一直升級，但是現(xiàn)階段AI并不能完全替代人類的創(chuàng)造性勞動，而是作為輔助工具存在。
許多人錯誤地認為AI可以直接生成商業(yè)化的內(nèi)容，但實際上，生成的內(nèi)容需要經(jīng)過一系列的加工和優(yōu)化，才能達到最終的商業(yè)標準。
畢竟，藝術(shù)作品的評價往往依賴于人的主觀感受。
但不能否認，按照這樣的趨勢，AI將拓寬創(chuàng)作者的門檻，同時也提高了對藝術(shù)家的要求，它更重要地強調(diào)了藝術(shù)創(chuàng)作力的重要性，會讓強者會變得更強大。
預(yù)計在未來，AI能夠幫助更多有創(chuàng)意的人實現(xiàn)他們的想法，誕生更多優(yōu)秀的作品。
感謝【故事接龍StoryStorm】友情支持。