阿里联合浙大发布“懂情感”人工智能：1分钟自动生成短视频

要实现马云所说的“未来30年，我们将机器变成人”，情感计算是人工智能发展离不开的话题。4月21日，在杭州举行的第七届UCAN用户体验设计论坛上，阿里巴巴人机自然交互实验室联合达摩院机器智能技术实验室和浙江大学推出了一款可以基于图文内容自动生成短视频的人工智能Aliwood。

给定一个商品详情页地址，该人工智能即可自动分析商品的多重信息，在1分钟内将静态内容动态化，自动合成一段短视频。

值得一提的是，该团队在研发过程中引入了“情感计算”能力，给视频所配的音乐建立起了情感模型，以更好地抓住观众的情绪。

从平面海报到短视频

阿里巴巴达摩院自然交互体验实验室负责人傅利民告诉澎湃新闻（www.thepaper.cn），视频能增加2.6%的线上购买量，增加顾客5%的次均停留时间。目前，淘宝只有不到1%的商品实现了视频化表达，如果要在1年内满足这个需求，需要50万设计师。

阿里巴巴的电商场景为新兴人工智能技术提供了大量数据和应用可能，由此吸引了高校方面的科研力量。2018年，浙大-阿里IDEA Lab和清华-阿里巴巴自然交互体验实验室相继成立，重点探讨设计、体验、审美等下一代人际交互研究，试图让机器懂得人类的“情感”。

Aliwood给音乐建立了一套情感模型，将音乐划分为“高唤起度” 和 “低唤起度”以及“正向情绪”和“负向情绪”。Aliwood会优先选择那些“高唤起度”和“正向情绪”的音乐作为视频的音频。

傅利民介绍道，团队后续还会结合“知识图谱”将视觉元素构建起一套模型，用以做优选和表达。同样也会将更多情感计算方面的能力纳入进来，逐步优化视听体验。

所谓知识图谱，是一种整合知识的形式。短视频AI所需的电商、电影、音乐等知识，很难被个体设计师全部掌握。知识图谱则将这些领域知识背后可计算的点，以类似星系的结构连接起来。

此前，阿里在平面设计上已经有一些尝试。其推出的人工智能设计师“鲁班”，在2017年双十一期间实现每秒制作8000张海报。阿里巴巴智能设计实验室负责人乐乘这次透露，“鲁班”在2018年双十一期间预计可以达到高级设计师的水平，即可以担纲中等设计项目的主创人员。

从平面到动态，知识图谱需要进一步的跨领域拓展。浙江大学国际设计研究院副院长、浙大-阿里IDEA Lab 负责人孙凌云说道：“我们整个团队要学习导演镜头语言、学习编曲配乐知识，短视频AI让我们一下子把所有事打通了。从平面到视频后，我们发现节奏和韵律是很重要的点，20秒视频结束后，观众脑子里会记住什么东西，又是很重要的点。我们把这些可计算的点梳理出来，组织成知识图谱不断推进。”

把人性变成算法

4月初刚刚宣布成立的清华-阿里巴巴自然交互体验实验室，则会进一步帮助机器构建“五感”（语音、听力、嗅觉、触觉、乃至内心和大脑活动等）。

清华大学计算机系教授、人机交互研究所所长史元春教授对“情感计算”在行业上的应用和数据验证感到兴奋。她负责AI产品在审美方面的评估。

尽管审美和情感听起来都是十分抽象的词汇，但史元春强调问题的本质还是算法：“从计算的角度，如果没有公式什么都算不了。我们的优势是把所有和人类性能相关的研究变成可计算的算法，改善人机交互关系。”

举简单的平面设计为例，色彩、角度和几何关系分布都能影响人类的整体认知。这些可计算的影响在心理学、认知学上都有了一些研究依据，可以用数据进行验证。

史元春介绍道，一方面，现在淘宝上的大量数据，包括用户评价，都可以作为算法的对比参考。另一方面，团队也在探索更为“客观”的生理参数，比如心率、血压、血氧饱和度等。研究人员试图以这些指标反映出用户观看淘宝页面的过程中是否接受、满意、轻松，并与后续行为建立关联。

史元春说道，阿里巴巴这样的企业往往会提出综合性的任务要求，而不仅仅是让团队算一下一张图片带来的情感，或是一段音乐带来的情感。在交易场景中，拿着手机或是iPAD、场景中多了一个人，都会产生更为复杂的情感影响。在这个意义上，与企业界的合作会对情感计算带来大场景上的提高。

孙凌云总结道：“不管是短视频设计也好，以后的语音交互界面、自动驾驶环境也好，凡是与人相关的应用空间，必然涉及到情感问题。”