《AI文章生成动画》
一、概述
《AI文章生成动画》是一款由人工智能技术开发的创新产品,旨在为用户提供更加生动、有趣的文章生成体验。该产品结合了机器学习、自然语言处理和图形生成技术,可以根据用户输入的文字内容,生成对应的动画场景,为用户带来沉浸式的阅读体验。
二、功能特点
- 智能生成:产品采用先进的机器学习技术,能够自动识别并理解用户输入的文字内容,从而生成符合要求的动画场景。
- 生动有趣:通过图形生成技术,产品可以将文字内容转化为生动有趣的动画场景,为用户带来视觉上的享受。
- 互动性强:用户可以在观看动画的过程中,通过互动操作,如点击、拖动等,进一步增强阅读体验。
- 多样化场景:产品可以根据用户需求,生成不同类型的动画场景,如科普知识、情感故事、风景名胜等。
三、应用场景
《AI文章生成动画》适用于各类文章阅读场景,如新闻报道、科普知识、小说故事等。同时,该产品也可以用于教育领域,如为孩子提供生动有趣的科普动画。
四、使用方法
用户只需在产品官网上输入想要生成的动画文章内容,即可获得相应的动画场景。同时,用户还可以通过互动操作,进一步增强阅读体验。
五、未来发展
随着人工智能技术的不断发展,《AI文章生成动画》仍有很大的发展空间。未来,该产品有望进一步优化算法,提高生成动画的准确性和多样性;同时,也可以与更多领域的应用进行融合,如虚拟现实、增强现实等,为用户带来更加丰富多样的阅读体验。
全国人大博士的小妹妹创造了漫画AI:输入文本故事可以成为漫画
郭一普发自凹非寺
量子位报告|微信官方账号QbitAIT
看图片,总比看字容易。
比如看改编自小说的漫画比看文字小说简单轻松。
那么,如何自动将故事变成漫画呢?
人工智能已经可以做到了。给它一个故事,它可以用图片讲述故事,稍加修改,变成一套连环画。
这样的故事:
很久以前,一个小男孩在森林里迷路了。他走了很久,饿了。他真的很想吃妈妈做的蛋糕,但是这个时候小男孩回不去了,就在地上画了一个大蛋糕,在蛋糕上点了芝麻。
小男孩看着它,好像他吃了一个大蛋糕,所以他觉得自己不是很饿,又站起来沿着一条小路走。.。
很快,小男孩的父母找到了他,他们一起回家,吃了真正美味的蛋糕。
人工智能可以把它变成这样的漫画:
此外,这种漫画形式也可以作为电影行业的故事板,帮助电影人进行艺术创作。
找一张能讲故事的图片
那么这个过程是如何实现的呢?
首先要注意的是,这些图片不是AI凭空画的,而是采用了更简单省事的方法:
从现成的图库中找出一些构图相似的,用来改变。
这里的图库叫GraphMovie数据集,数据源是一些影评网站。
但是数据集里有很多图片。如何才能自动用AI找到最符合你故事的图片?
这里使用了一个叫做情景感知密集匹配模型的模型(Contextual-AwareDenseMatchingmodel,CADM)。
它长这样:
CADM根据故事的内容找到了这样的图像:
另外,还有一个模型叫Nocontext,它是之前“看字找图”这个领域表现最好的AI。
Nocontext还发现了一些图像:
然而,图片仍然有点少,人们至少是一个完整的故事,你不能用这么多的图片来完成,所以故事没有细节,读者的体验也不好。
现在,请制作第三个模型:贪婪解码算法,它负责根据故事的细节找到可以使用的图片。
让它出马来补一补后,故事马上就完整了:
统一画风
然而,就这样的效果而言,你会感到困惑,好像你无法传达之前文本中的故事。
问题在哪里?
第一个问题是图片中有很多背景、环境等相关元素,与故事主线无关。看到它也会影响你对故事的理解。
这些冗余元素需要删除,这里使用何恺明的名作Maskr-CNN,区域分割,删除图片中与故事无关的部分。
现在,这些图片都是这样的:
第二个问题是,这些图片的绘画风格差别太大了。如果你拿出这样的漫画,你会被读者打败。
因此,有必要统一图片的风格。这里使用了一个工具CartonGAN,字面意思可以理解。这是一个GAN(生成对抗网络),将图片变成卡通风格。
卡通GAN处理后,这组图片变成了这样:
好像好多了,但是还是有一个大bug。:这些人看起来不一样!你说他们是同一个故事的主角,杀了我也不相信。
所以,第三个问题来了,这些人怎么能长成一样呢?
在这里,研究人员直接找到了一个叫AutodeskMaya的软件,它是一个在电影中处理3D图像的软件,它制作了3D场景、人物和道具,并将9张图片中的所有人半手动变成了一个样本。
然而,论文作者表示,制作3D图像的过程预计将在未来自动生成。
这个操作真的像老虎一样凶猛。现在画风一致,故事流畅,甚至补充了背景和美化。
在电影行业中有很大的用途
事实上,这样生成的“漫画”并非最终结果。
它实际上是用来拍电影的。
在拍电影的准备过程中,需要一个叫做“故事板”的Demo(storyboard)”。
在故事板的帮助下,电影制片人可以在创作过程中改变演示,然后完成成品,把撕裂过程放在前面,防止甲方父亲在完成后提出修改意见,导致工作量急剧增加。
因此,在这篇论文中,自动生成故事板可以节省电影人的大量时间,提高创作者的制作效率。
全国人大博士制作
中国人民大学、微软、北京电影学院共有9名作者。
陈师哲目前在全国人大读博士五年级,曾在微软小冰团队实习。他还访问了CMU和阿德莱德大学。
她也是一名学术专家,仅今年一年,包括这篇论文在内,就已经发表了三篇顶会一作。
此外,微软小冰团队首席科学家宋瑞华也参与了这项研究。
宋瑞华博士毕业于清华大学,长期研究短文本对话与生成、信息检索与提取等领域,曾担任SIGIR、SIGKDD、CIKM、WWW、WSDM等会议的程序主席或高级程序主席。
传送门
NeuralStoryboardArtist:VisualizingStorieswithCoherentImageSequences
https://arxiv.org/abs/1911.10460v1
签署量子位QbitAI头条号码