【 国内首部全AIGC动画】魔游纪AIGC制作总结

【受制于7月份时候技术发展并不完善,虽然获得的结果并不令人惊艳。但对一项全新技术的工作流设计,以及在这种技术背后所看到的潜在的前景依然让我收获颇丰,在此简单记录一下】

在今年3月,随着ChatGPT的爆火,我们团队收到了来自腾讯视频的需求。希望能够使用AIGC工具完成一部国内首部全AIGC动画。

最开始接到这个需求的时候,我对AIGC的了解主要来源于机核网的有关AI的理论节目和一些技术分析文章。不过既然工作需求来了就立刻去查了当时存在的几种现行技术。要把与AI相关的一系列内容从绘画转移到动画行业,着需要重新思考工作生产的技术基础,随后根据当时的存在的技术情况,快速构建了对这个片子的制作思路,与平台技术部门进行进一步沟通。

这类调整生产结构的工作在做魔游纪剧集的时候我就已经有过经验。对于小团队来说,使用全新工具修改自己的工作流是生存的重要基础,在魔游纪剧集的时候我们的团队就是国内第一批把UE用于商业动画管理和生产的动画团队。根据工具本身的特性调整制作结构,外包管理模式和沟通模式是我工作的常态。对我来说做导演这件事创作只站60%,在对工作管线的设计,工具管理和工作流程的控制方面也占了40%。

一张AIGC短片种出现的剧照,每一张都要通过我们的美术同事进行详细修正,AIGC真正的作用是增效。能够让工作人员更高效,更好的完成自己的工作

一张AIGC短片种出现的剧照,每一张都要通过我们的美术同事进行详细修正,AIGC真正的作用是增效。能够让工作人员更高效,更好的完成自己的工作

收藏

 

因为考虑到平台作为宣发布局的需求,单纯在制作过程中使用某工具这样的行为是不够的,所以需要在全方位都使用AIGC完成影片的制作。这就要求我和我的团队在一个月以内把所有现行的AI工具快速学会,并想办法构建一套配套的生产工作流。

对于个人创作者来说,一个人完成大部分工作的时候沟通成本很低,可以很快的适配新工具。但是商业动画的制作中更多的是在做生产管线的设计和项目的工程管理。所以我的更多工作是要聚焦于AIGC工具和现在市场上存在的供应商的差别。

要做到在四个月之内完成一部使用新技术的短片,面临的不只是学东西,还包含快速组织与周期的压缩。要在有限的时间内,考虑到现在国内剧集供应商普遍水平差的问题,尽量减少任何沟通成本,提高沟通效率。

所以一方面我需要快速学习GPT/midjourney/stablediffusion/deepmotion等AI工具。一方面要考虑什么工具可以插入工作流,什么工具会打乱工作流。

并且根据这种工作情况设计各个环节的工具规划,哪个部分需要多AI工具混用,哪个部分需要使用外置的软件手段。渲染时什么样的shader利于AI计算,后期时候怎么规划AOV能够加快生产效率。最重要的是,让外包能够正常的做他们一直以来在做的东西,不让他们因为适配新工具带来混乱。以及对接平台的技术部门进行模型的训练,数据的混合,批量化脚本的指定。

同时考虑到制作方便,对资产表的重规划,以及设计新的资产类型。制定通用化的预置资产等方式,都是为了尽量减少沟通成本,让各个环节的工作人员可以快速调用

同时考虑到制作方便,对资产表的重规划,以及设计新的资产类型。制定通用化的预置资产等方式,都是为了尽量减少沟通成本,让各个环节的工作人员可以快速调用

收藏

 

与此同时,从分镜的设计,角色的形象。演出的编排,剧本的结构上都要采用更模块化的制作模式。

所以在与平台协调后,把剧本编排交给平台方。把制作分离成故事和战斗。把战斗作为主要表现内容(这也有利于当时技术发展情况下AI转绘的画面特性)

于是我们的团队把精力投入到对战斗戏编排的规划,战斗节奏的调整。战斗丰富度的调度。而剧本则交给平台找到的剧本团队。我们各自在敲定的框架内进行创作。尽量把双方需要来回拉锯的情况减少,在4个月内完成全部工作。

工作流程的真实写照,外包是商业动画制作过程中必然遇到的。所以怎么去做外包的工程管理,怎么在多家外包混用的情况下一方面控制成本不要飞上天,一方面给烂外包兜底,让片子保持一个基本的效果就是最大的难题。
工作流程的真实写照,外包是商业动画制作过程中必然遇到的。所以怎么去做外包的工程管理,怎么在多家外包混用的情况下一方面控制成本不要飞上天,一方面给烂外包兜底,让片子保持一个基本的效果就是最大的难题。
 
收藏
 
平台给出的目标十分明确:8月8号动漫节放出正式预告,第二天正式上线。这就意味着我们要在4个月内学会一项新工具,设计一套用于生产的新工作流,并完成一部从0开始的10分钟短片的全部工作。这是一项巨大的挑战。
不过随着对各类AI工具的学习后,我们很快的发现这些东西对于小团队的效率提升确实有非常大效果,能够很大程度上降低沟通成本。由于我们团队本身人数很少,以往很多工作必须加班才能赶上进度,但通过AIGC工具,在实际项目推进的过程中,很多用于自己部门沟通,和平台沟通用的图就可以快速完成。毕竟在ToB的工作中,大家需要的是快速get一个意思或者感觉,并不是真的要一张图扣的清清楚楚才行。
所以AIGC工具最开始在前期工作中就能起到非常快的原型效果。众所周知多人协同工作的时候,怎么以更快的方法把自己的想法展示给别人,是工作中最重要的。所以AIGC在我们的工作环节里最重要的就是大规模提供原型,通过美术同事的简单跑图加自己的筛选,就可以快速出一整批原型。这些原型可以利于各个技术负责人评估制作难度,实现可行性。美术调性,角色印象,甚至和平台沟通时候给平台呈现一些直接的效果
最开始和平台沟通的时候还是遵照以前魔游记剧集的设定,在做传统题材的随机筛选。不过在与平台协调的过程中平台希望能够制作一个全新的角色和世界观
最开始和平台沟通的时候还是遵照以前魔游记剧集的设定,在做传统题材的随机筛选。不过在与平台协调的过程中平台希望能够制作一个全新的角色和世界观
 
收藏
 
在后续的快速协调中,大批量出形象原型。并各自评估不同的问题例如制作可行性,结构准确合理性,造型设计特征,用户接纳度,实现成本等各方面情况,以此为基础进行方案选取
在后续的快速协调中,大批量出形象原型。并各自评估不同的问题例如制作可行性,结构准确合理性,造型设计特征,用户接纳度,实现成本等各方面情况,以此为基础进行方案选取
 
收藏
 
所以在工作沟通方面,AIGC确实能够高效的提升我们的效率。本来我们就是小型团队,如果想要在有限的时间让效果更好,那大家就必然需要加班,而AIGC有效的提升了我们的效率,让各个实际操作者能够快速按照想法出更多原型,也能够给大家提供更多灵感选择。但落到实际生产工作的时候,AIGC依然无法代替人工。美术从业者的经验,整合能力,思考问题的丰富性。和实际操作过程中遇到造型要为实现让位情况的时候,画师本身的水平才是决定综合质量的核心。AI的作用是提高效率和减少沟通难度,从而综合的提升整体质量。项目做下来,我们反而为了更好的顺畅流程从而增加了岗位
实际最终生产用图,涉及到非常多精准性要求,以及细节结构的详细描述,要求的是准确清晰并且随时根据实际情况修正。所以人工依然是核心
实际最终生产用图,涉及到非常多精准性要求,以及细节结构的详细描述,要求的是准确清晰并且随时根据实际情况修正。所以人工依然是核心
 
收藏
 
这之后在实际制作过程中,我决定不使用光学动捕,在时间有限的情况下直接使用AI视频动捕,这样可以快速为我们提供一个动态基础,并且不需要太长时间的调试和准备。对于经验丰富的动画师来说,动捕并不能让他做的更好,只是在给他省时间罢了。所以使用视频动捕可以进一步减少导演组所消耗的时间。
在UEshader的方面,同样要考虑到AI的适配性,所以普通的三渲二shader并不真的利于这次项目。为此设计更复合AIGC的shader也要提上日程。我放弃了以往的后处理材质+二值化路径,转而使用对光照适配性更好的次表面材质球,配合菲涅尔控制的轮廓光等其他参数进行混合,为项目设计了更利于aigc的新shader。
简化shader后更利于调整,因为ai会优化很多内容,对前面操作内容的简化也可以进一步提升工作效率。后续根据不同的模型和项目需求情况,我可以再选择使用不用的shader
简化shader后更利于调整,因为ai会优化很多内容,对前面操作内容的简化也可以进一步提升工作效率。后续根据不同的模型和项目需求情况,我可以再选择使用不用的shader
 
收藏
 
除去前面的生产工作外,在画面呈现的设计上,以重绘为核心的路径是很快就讨论出来的。也是我在这次项目中认为很有发展前景的部分。
在传统动画的角度上说,动画的好看来源于画面概括。这是动画这种艺术形式本身的基础属性,是动画性的一个重要组成。
在2D动画中,概括的动画性包含对画面要素的整合概括,和对角色表演运动变化的帧数概括。这就是2D动画中的绘柄和作画。前者是对画面本身进行简化概括的画风,后者是对帧数控制而带来的动态节奏变化。
而在3D动画中,概括的动画性则来源于计算机图形学所构建的一系列3D系统。从建模到材质到光照的一整套为现实世界拟真而存在的数学算法。而在3D动画中,属于3D动画特有的就是图形学shader这一属性,shader让3D动画拥有更强的活性。让3D模型能够呈现写实以外的视觉效果。在我的上一部魔游纪剧集中三渲二shader就来源于此。配套的让3D动画实现特定的呈现效果也需要相应的一整套技术工具。但3D动画所构建的基础是基于数学的拟真,这就意味着除非专门定制非常特殊的shader,否则使用现行的商业工具,做商业动画的时候比较难以制作不同的视觉风格。如果想要做不同的质感,那就要投入更多的研发成本。
 
但即使如此,正常情况下,使用shader呈现的效果依然和2D绘画所带来的概括是不同的,因为人在概括画面的时候是基于自己对画面的印象,并不是绝对锁死的物理边缘。我可以根据自己的审美习惯而微调角色的形象,运笔方法带来的线条粗细变化。动态过程中的特殊形变。而3D动画中,除了形变可以使用已有的技术去做,其他两种部分想要实现更好的效果就需要投大量的时间和人力,甚至是计算量增加模型的精度。例如《战斗天使阿丽塔》的电影中在一个虹膜中做900万个多边形,给角色表面做皮肤汗毛的绒毛模拟,来让光照能够给角色脸上造成更加真实的光照折射效果。这些东西在国内正常的商业动画中是很难做到的,而且即便如此,他所带来的效果也终究是会受到”拟真“这一基础的影响。有些边界很难突破。
经过重绘控制的画面本身就会添加很多属于绘画过程中的习惯,会对画面进行审美性的概括,会添加很对随机的丰富性。并为画面带来很多风格性的变化,而这取决于对模型选取和参数的混合
经过重绘控制的画面本身就会添加很多属于绘画过程中的习惯,会对画面进行审美性的概括,会添加很对随机的丰富性。并为画面带来很多风格性的变化,而这取决于对模型选取和参数的混合
 
收藏
 
可以看到右侧经过重处理的画面与shader渲染的画面在很多概括效果方面完全不同。这种效果不止是对颜色的改变,还会增加很多轮廓,塑造手法和色彩丰富性的变化。
可以看到右侧经过重处理的画面与shader渲染的画面在很多概括效果方面完全不同。这种效果不止是对颜色的改变,还会增加很多轮廓,塑造手法和色彩丰富性的变化。
 
收藏
 
但由AI绘画带来的图像绘制效果,就成功的在这个方向上迈出一步。因为AI绘图本质上是将一种像素规律固化下来,就像我们画画时候固化一种概括习惯,一种审美,一种用光方法是类似的。这种对painting进行模式化的行为本身就是对画面概括的过程。所以当AI绘图的重绘用到动态画面的时候,就会带来完全不同的效果。
在3D动画的路径上无论我怎么去修改shader,我的光照折射依然要基于我基础的多边形去生成,我的多边形结构要符合物理,很难做到全方位角度都呈现最好看的状态。但是经过AIGC的转化,以前眼角的5跟睫毛就可以被自动的概括为一块通透的红色,画面的方方面面都被这样处理后,就更贴近一种对画面的人工概括行为。
这就像经典的《黑暗扫描仪》《至爱梵高》一样,让画师人工的对画面进行处理,这将会带来一种全新的视觉效果,当然这两部片子所消耗的成本和制作周期也不是常规的商业动画可以对比的。
在以前我们很难看到一部全米山舞风格的动画,也几乎不可能看到crigmullins画风的片子。因为这些大师不会也不能去绘制逐帧画面,他的价值不在于此,对于行业里的2D动画师本身,要去用厚涂画风画完一部动画本身也在商业环境中不可能。但是AI重绘为我们带来了这种可能,因为风格的批量化复现在技术的加持下变得可行。用工具生产本来别人可以做出来的东西是在代替别人,但用工具生产出本来做不出来的东西是在创造新的价值。
在这套框架下。画师的意义是进一步把控自己的画风。假设这种技术真的能够随着技术迭代和完善大规模应用。那米山舞,新川洋司这样的插画师设计师,他们要做的也不会是自己去画逐帧,而是指导制作者们哪里要更改,哪里更复合自己的审美标准。这将会形成一种新的工作框架。而这种工作框架会配套的需要很多全新的岗位,新的工作类型。那些美术工作者的价值也不会因为AI而消解。
所以站在这个角度上来说,AI带来的这种类似滤镜的行为可以有效的提高原有画面的丰富度,并补偿原有画面因为时间,成本等综合要素带来的问题。同时,他可能也能进一步打通单帧绘画与动画的链条,让二者在技术的加持下形成更新的形式。这种技术在现代人的理解下只被看作是一种滤镜,但其背后的逻辑更贴近人类绘画,他的灵活度要远高于图形学滤镜。随着技术迭代相信一定会产生飞跃性的变化的。
可以见到在这种技术的加持下,已有的文化产品进行多风格复现变得可能,虽然还是会受到原始设计的基础影响,但是通过对工作流,美术资源,制作手法的相互搭配确实可以做到同一部片子的多种艺术风格。
可以见到在这种技术的加持下,已有的文化产品进行多风格复现变得可能,虽然还是会受到原始设计的基础影响,但是通过对工作流,美术资源,制作手法的相互搭配确实可以做到同一部片子的多种艺术风格。
 
收藏
 
AI绘画会消解绘画的本质,因为绘画需要通过单张图来呈现。一切的信息都被融入到这张图中。人类学习绘画时候除了投入大量的时间,还要投入足够的思考。但很可惜,大部分非绘画者只能看到画完图呈现的简单的表象,所以当AI把一种绘制习惯变成一个模板的时候,他必然消解了绘画的价值。让大众认为获得和别人同样的水平非常简单,虽然背后不是这样,也根本不可能。但是即便如此在商业社会下,大众意义的绘画价值就是会被AI消解
相比于AI来说,人类在绘画的过程中思考远大于动手,并且这个过程中二者相互混合。一边画一边思考,一边思考一边画。所以好看的画面是来源于多种要素混合在一起构成的体验。不是单纯的好看光影
相比于AI来说,人类在绘画的过程中思考远大于动手,并且这个过程中二者相互混合。一边画一边思考,一边思考一边画。所以好看的画面是来源于多种要素混合在一起构成的体验。不是单纯的好看光影
 
收藏
 
人类与AI在对于绘画行为的练习上本质上是相似的。但是绘画不是单纯的复现,那种行为只是画匠而已。绘画的本质是对绘制内容是思考,和对概括手法的探索过程。这是绘画行为的本质,只是在大众眼里这很难被认知。在人类进行绘画的过程中,有60%以上的工作都是在思考和调整,这要来源于知识积累与经验和肌肉记忆的共同结果。剩下的才是单纯的painting。但AI并不存在所谓的思考,只是把用户描述的内容,进行一个随机生成,本质上是一种像素规律的随机复现
人类与AI在对于绘画行为的练习上本质上是相似的。但是绘画不是单纯的复现,那种行为只是画匠而已。绘画的本质是对绘制内容是思考,和对概括手法的探索过程。这是绘画行为的本质,只是在大众眼里这很难被认知。在人类进行绘画的过程中,有60%以上的工作都是在思考和调整,这要来源于知识积累与经验和肌肉记忆的共同结果。剩下的才是单纯的painting。但AI并不存在所谓的思考,只是把用户描述的内容,进行一个随机生成,本质上是一种像素规律的随机复现
 
收藏
 
但是AI用于动画的批量转绘不会消解动画的本质。因为动画是一种由剧本/叙事/音乐/美术/表演/演出等多种要素构成的综合心流体验。这其中任何一种质量提升都只是提升了综合影响,动画的本质动画性来源于对于运动的概括。AI转会带来的不稳定性会被技术发展解决,技术迭代也必然有很多高效的工具帮我们进一步优化工作流。但是对动态的运动概括筛选,对演出和表演控制的认知这种东西即使是大部分的人类自己都无法弄明白,他的信息密度过大。GPT之所以能够变成现在的样子只是因为语言是获取起来最简单而且量最大的东西,而越是复合的知识获取起来就越复杂。
所以站在行业发展的角度来说,那些因为AI而被筛选的岗位很快又会不得不补上,AI是一种高性能的生产工具,但不代表AI可以完全自己干活。人类的思考能力,应变能力,经验才是工作中最重要的。从这个角度来说AIGC和引擎渲染辅助概念设计这样的事没有本质区别。
而AI重绘在单帧绘画之外的部分为行业带来的前景更大,更强。终有一日这种技术变得成熟的时候,行业的发展可以产生全新的迭代
放出一些画面剧照,经过AI重处理的结果确实可以一定程度上帮助中小型和新团队提升综合质量
放出一些画面剧照,经过AI重处理的结果确实可以一定程度上帮助中小型和新团队提升综合质量
 
收藏
 
总结:这次项目的我的精力更多投入在生产线的设计,技术标准的制定,工作环节的规划,与供应商之间协调模式的设计。配套的shader,AOV层,工具链的搭配。并且和平台的技术老师们一起商定通用化的技术标准,资产管理规则。
在创作的角度,更多的是对战斗戏的选取和编排,桥段的规划,战斗丰富性的策划。和与我团队副导演关于武器变形的演出设计。
虽然受到技术发展瓶颈,配套团队水平,其他市场评估等多方面限制最终呈现的效果并不惊人。但依然是做了全新的创举。在国内诸多动画公司中,借着平台的帮助努力向前走出了第一步。


作者:鬼龟
链接:https://www.zcool.com.cn/work/ZNjczOTY3NjQ=.html
来源:站酷
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注