免费AI绘画生成,生成对抗网络(GAN)的基本原理是什么

文章 2年前 (2023) admin
0

生成对抗网络(GAN)的基本原理是什么

爱因斯坦“复活”!——GAN告别大样本,一张照片也能制作逼真的视频你也许见过爱因斯坦这张严肃正经的照片:但你一定没有见过样侃侃而谈的爱因斯坦:你也一定见过微笑着的蒙娜丽莎:但你一定没有见过这样或俏皮或羞涩的蒙娜丽莎:GAN可以说是人工智能时代的黑科技,什么“油画变照片”、“黄马变斑马”、“冬天夏天”、“文字生成图像”、“制造假人脸”……都是GAN的杰作。现在,GAN又能让爱因斯坦“复活”,让蒙娜丽莎和我们“聊天”。将静态的照片变成视频已经不是什么新鲜事了。不过,以往的工作为了获得看上去非常逼真和自然的结果,一般都需要一个人的大量照片上来做训练。样本图像的匮乏有时会变成GAN应用的掣肘,比方说我们想要让爱因斯坦“复活”,但是那个年代的影像资料实在是太少了,我们没有足够的样本,这个工作就很难进行。不过,最近的一项研究已经克服了样本数据少这个难题,向GAN网络引入了meta-learning元学习模型,然后就能根据仅仅几幅甚至是一幅图像来创建人脸动画。要“复活”爱因斯坦,我们只需要准备几张(甚至一张)爱因斯坦的照片,再准备一段视频。从视频中检测出人脸的关键点,抽象出人脸的动作模型,然后,把准备好的爱因斯坦的照片“贴”到这段动作上。(原理见动图)这项技术在一个大的视频数据集上执行长时间的元学习,然后能够将人在谈话时的动作模型作为大容量的生成器(Generator)和判别器(Discriminator)的对抗性训练问题,进行一次又一次的帧学习。该系统能够以个性化的初始化生成器和判别器的参数,尽管需要对上千万的参数调优,但只需非常少的训练图像,并且训练速度非常快。这种方法能够学习到非常真实的人物、甚至是肖像画的头部聊天模型。下面来看看人脸的标记点是怎么被“贴”到一张新的人脸上的:这项技术使用的框架包括嵌入器(Embedder)、生成器(Generator)、判别器(Discriminator)三个部分,嵌入式网络( embedder network)将带有标记的头部图像映射到嵌入向量(embedding vectors),嵌入向量包含与姿势无关的信息。生成器网络(generator network)通过卷积层将输入人脸的标记映射到输出帧中。在元学习期间,通过嵌入器传递来自同一视频的帧集,将得到的嵌入求均值,并使用它们来预测生成器的自适应参数。 然后,通过生成器传递不同帧的人脸标记,将得到的合成图像(Synthesized)与真实的图像(Groud truth)进行比较。目标函数包括感知和对抗性损失(perceptual and adversarial losses),后者通过条件投影鉴别器(conditional projection discriminator)实现。这项技术摆脱了样本数量的限制,让我们可以实现很多以前难以做到的设想。利用真人照片,可以让肖像画做出生动的表情,艺术创作可以摆脱3D建模庞大的工作量,节省了时间成本、人力成本和硬件成本;多人在线游戏可以随意创作新形象,甚至你还能真实地出现在屏幕上……技术细节可参见论文《Few-Shot Adversarial Learning of Realistic Neural Talking Head Models》,你也可以用自己的照片来创作一段好玩的视频,已经有小伙伴尝试过,效果不错哦~更多好玩的科技知识可关注 @邮电出版社 知乎机构号,我们会持续推出优质的计算机知识和图书资源。

有没有一种规律可以将编写的一段代码生成视频

这个问题让我想起了一个古老的段子:一个哥们请一位大神来家里做系统,家里没有系统光盘,于是大神要了一张空白盘和一根针,在光盘上戳出来一个系统安装文件。在理论上可行,前提是,大神知道系统文件在光盘的坑凹排列规律,第二,针尖要比光子要小。第三,需要时间,并且不能有任何差错。总之一句话这不是人能干的事。话说回来,能不能用纯代码编写出一个视频文件?答案是显然的。无论计算机里的任何文件,其本质都是一串二进制代码。因此理论上来说,如果你对这套编码规则相当熟悉,完全是可以手打纯代码编写出一部视频,但是你到死的那天都写不完。中间有两个要素,第一,需要大量的时间,第二,任何一处都完全不能出错。所以这不是人干的事情。计算机起到的作用就是代替人类去做那些复杂而且精确的工作。在这个问题中,你似乎发现了这个不得了的秘密:你用txt打开一个avi,发现它不过是一长串的代码和英文,但你可能忽略了里面还包含有和你不认识的字符。出现这种情况是因为txt压根无法解析这个文件,你看到的这些代码是完全没有意义的。你可以做一个小试验,你用txt打开这个文件以后,不做任何操作再关闭它,选择不保存,把后缀改回avi,那么这个视频还可以播放。如果你在关闭的时候选择了保存或者另存为,再改回avi,那么你得到的是一个打不开的文件。为什么会这样?因为在你保存的时候,txt会按照自己的编码规则丢弃掉那些它不理解的信息,所以这个文件就变得不可读。所以想用txt编写程序或者文档是别想了,写个批处理文件还是可以的,它毕竟处理不了太高级的东西。

版权声明:admin 发表于 2023年2月23日 下午7:48。
转载请注明:免费AI绘画生成,生成对抗网络(GAN)的基本原理是什么 | 热豆腐网址之家

相关文章