网易首页 > 网易号 > 正文 申请入驻

PS打包实现AI图像论文,英伟达在实时视频PS之路上越走越远

0
分享至

  编辑:Panda

  

  

修图靠 Photoshop,修视频靠英伟达。

  前段时间,Adobe 推出了一个名为「Neural Filters」的工具包,将 AI 论文中常见的上色、换表情、改年龄、超分辨率等效果统统打包,集成到了 Photoshop 中,让用户动动鼠标就能用上这些功能。当时就有人问:「视频能 p 吗?」

  作为一款主打图像处理的软件,Photoshop 或许没有办法很好地回答这一问题。但同样深耕于计算机视觉、计算机图形学的英伟达用行动告诉我们,他们似乎正在向这一方向努力。

  今年 10 月初,英伟达推出了一项 AI 视频会议服务 Maxine,这是一套 GPU 加速的 AI 视频会议软件。该公司将 Maxine 描述为一种「云原生」解决方案,使用了 AI 来提升分辨率、降低背景噪声、压缩视频、对齐人脸以及执行实时翻译和转录。

  

  利用英伟达 Maxine 实现的视频会议超分辨率效果。

  

  利用英伟达 Maxine 实现的视频会议压缩效果。

  

  利用英伟达 Maxine 实现的视频会议人脸对齐功能。

  本文将解读 Maxine 的多项功能的工作机制以及它们与英伟达 AI 研究的关联。本文也会谈到英伟达的 AI 驱动型视频会议平台中仍待解决的问题和可能的商业模式。

  使用神经网络实现超分辨率

  在展示 Maxine 时,英伟达介绍的第一个功能是「超分辨率」,英伟达说这「能实时地将低分辨率视频转换为高分辨率视频」。超分辨率技术能让视频会议参与者发送低分辨率视频流,而服务器能让它们变得更加清晰。这能降低视频会议应用的带宽需求,能让它们在网络连接不稳定的地区也能获得更稳定的表现。

  提升视觉数据分辨率的一大挑战是如何填充缺失的信息。打个比方,你有一张由一定数量像素构成的图像,你想要将其扩大为包含更多像素的图像。你该如何确定这些新像素的颜色?

  

  以前的图像放大技术使用的是不同的插值方法(双三次插值、Lanczos 插值等)来填充原像素之间的空间。这些技术太过笼统,可能会将不同类型的图像和背景混在一起。

  机器学习的一大优势是能在经过调节之后用于非常特定的具体任务。举个例子,基于视频会议流数据,深度神经网络可使用缩小后的视频帧及其对应的高分辨率原图像进行训练。只要样本充足,该神经网络就能根据在视频会议视觉数据(大多是人脸)中找到的一般特征调节其参数,从而能在低到高分辨率转换任务上取得比通用型放大算法更优的表现。一般来说,领域范围越狭窄,神经网络就越有可能收敛到非常高的准确度。

  使用人工神经网络来放大视觉数据已经有了坚实的研究基础,其中包括英伟达 2017 年的一篇论文,其中讨论了使用深度神经网络的通用型超分辨率技术。

  由于视频会议是一种非常特定的具体案例,因此经过良好训练的神经网络在该任务上的表现肯定会优于更一般化的任务。除了视频会议之外,超分辨率技术还有其它应用场景,比如电影行业可以使用深度学习来重制老电影,使其质量更高。

  使用神经网络实现视频压缩

  在 Maxine 展示中,AI 视频压缩是一个更有趣的部分。英伟达发在 YouTube 上的视频展示了使用神经网络来压缩视频流可将带宽从约 97 KB / 帧降至约 0.12 KB / 帧。不过有 Reddit 用户指出,这实在有点夸张。英伟达网站表示开发者可将带宽用量「降至 H.264 视频压缩标准所需带宽的十分之一」,这听起来要合理多了,但仍旧是一个惊人的数字。

  英伟达的 AI 何以实现了如此惊人的压缩率?该公司一篇博客文章更详细地解释了这项技术的工作细节:https://blogs.nvidia.com/blog/2020/10/05/gan-video-conferencing-maxine/

  神经网络可以提取和编码每帧中用户的关键人脸特征的位置,这比压缩像素和颜色数据要有效得多。之后,已编码的数据和一开始获取的参照视频帧会被传输给一个生成对抗网络。而这个 GAN 的训练目标是通过将人脸特征投影到参照帧上来重建新图像。

  

  这项成果基于英伟达之前的GAN 研究,即将粗略草图映射为细节丰富的图像和绘画。

  AI 视频压缩再次表明:当领域狭窄时,深度学习算法能取得格外出色的表现。

  使用深度学习的人脸对齐

  人脸对齐是指通过调整用户人脸的角度,使之看起来就像是正对摄像头一样。人脸没对齐是视频会议中的常见问题,因为人们往往会看着屏幕上其他人的脸,而不是盯着摄像头。

  尽管英伟达没有透露太多细节,但他们的博客提到过他们在使用 GAN。不难想见,这个功能可以与 AI 压缩 / 解压技术绑定到一起。英伟达已经在人脸特征点检测和编码方面进行了广泛的研究,其中包括提取人脸的特征和不同角度的注视方向。这些编码可以输送给同一个可将人脸特征投射到参照图像的 GAN,然后让其完成剩下的所有工作。

  Maxine 的深度学习模型是如何运行的?

  Maxine 还有许多其它实用的功能,包括整合了英伟达的会话 AI 平台 JARVIS。但这里就不再详述了。

  不过,该软件仍有一些技术问题尚未得到解决。举个例子,我们还不清楚 Maxine 中有多少功能运行在英伟达的服务器上,又有多少运行在用户设备上。英伟达一位发言人在回答 TechTalks 的提问时说:「英伟达 Maxine 的设计目标是在云端执行 AI 功能,这样无论用户使用怎样的设备,每个用户都能使用它们。」

  对超分辨率、虚拟背景、自动对齐和降噪等功能而言,这种做法是合理的。但另一些功能放在云端就毫无意义了。AI 视频压缩就是显而易见的例子。理想情况下,执行人脸表情编码的神经网络必须运行在发送端设备上,而重建视频帧的 GAN 又必须运行在接收端设备上。如果所有这些功能都交给服务器执行,那么就无法节省带宽,因为用户发送和接收的都将是完整的视频帧,而不是更轻量的人脸表情编码。

  理想情况下,英伟达应该提供某种配置机制,让用户可以自己根据自己的网络和计算设备选择本地和云端 AI 推理的适当平衡。举个例子,如果某用户有一个带有强大 GPU 的工作站,那么他可能就希望完全在自己的计算机上运行所有深度学习模型,以便降低带宽用量并降低成本。另一方面,如果用户使用计算能力有限的移动设备加入会议,则他可以选择放弃本地 AI 压缩,并将虚拟背景和降噪任务交给 Maxine 服务器执行。

  Maxine 的商业模式

  

  新冠疫情的压力下,很多公司都在实施自己的远程工作协议,因此现在是推广视频会议应用的绝佳时机。而由于 AI 正处于炒作高潮,因此为了提升销量,公司也乐于将自己的产品宣传为「AI 驱动」。所以,现如今名字里面有「视频会议」和「AI」的产品其实都值得怀疑,不过其中很多产品也确实名副其实。

  我们也有理由相信 Maxine 能在其它产品失败之处取得成功。首先,英伟达在深度学习方面有着可靠的研究历史,尤其是在计算机视觉和更近期的自然语言处理领域。该公司也具有足够的基础设施和资金来继续推进 AI 模型的研发并将其提供给客户。当用户基数增大时,英伟达的 GPU 服务器及其云供应商合作伙伴也有能力扩大规模。另外,英伟达近期对 ARM 的收购也让其有机会将这些 AI 能力部署到边缘设备上。(也许未来会有 Maxine 驱动的视频会议摄像头产品?)

  最后,Maxine 是善用专用 AI 的绝佳范例。不同于试图解决广泛问题的计算机视觉应用,Maxine 的所有功能都是针对特定场景设计的:一个人对着一个摄像头说话。很多实验已经表明,当问题的领域范围扩大时,即使最先进的深度学习算法也会损失准确度和稳定性。反过来,当问题的领域范围缩小时,神经网络更有可能接近真实的数据分布。

  不过我们也知道,有效的技术与成功的商业模式之间存在巨大的差异。

  Maxine 目前正处于早期访问模式,所以未来还可能会有巨大的变化。目前来看,英伟达计划提供 SDK 以及托管在其服务器上的一套 API,让开发者可以将其整合进自己的视频会议应用中。企业视频会议行业已经有两大玩家了:Teams 和 Zoom。Teams 已经有大量 AI 驱动型功能了,微软也不难继续添加 Maxine 提供的功能。

  Maxine 最终将采用怎样的定价模式?带宽节省的效益足够弥补其成本吗?Zoom 和微软 Teams 等大型玩家是否有与英伟达合作的动力,还是说他们更愿意自己开发同样的功能?英伟达会继续当前的 SDK/API 模式还是会开发自己的独立视频会议平台?在开发者探索这个新的 AI 驱动型视频会议平台时,英伟达必须解答这些问题以及其它许多问题。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐

讲实话,歼-20和F-22的差距到底有多大?差距大到令人心疼!

科罗廖夫
2020-11-24 12:27:24

47倍投目标4.7亿巨奖!双色球20119期最强倍投晒票欣赏

五星彩运
2020-11-26 10:20:31

快讯!蓬佩奥抨击拜登团队“活在幻想世界里”,自称仍未和布林肯交谈过

环球网资讯
2020-11-25 20:26:42

“最牛中巴”丰田考斯特,千万劳斯莱斯比不上,神在哪?

麻辣筱仙女
2020-11-24 06:02:02

《知否》原著:被困宥阳10年,回京后,王若弗至死不肯原谅母亲

旅游分享日记
2020-11-26 14:41:37

白云山伟哥销量年年攀升的背后:粉色小药丸为何那么香?

健客新健康
2020-11-24 09:41:25

莫迪打了通电话,拜登将支持印度入常?这回,俄罗斯直接把话挑明

海峡军志
2020-11-25 15:20:58

未成年少女被逼裸泳,偷拍视频引热议:透支姿色的女生,下场很惨

周冲的影像声色
2020-11-24 16:58:23

工地人妻勾引包工头,事后假孕勒索近10万,丈夫对此一无所知

日报编辑
2020-11-26 10:24:20

新疆一女子明知患有艾滋病,依然疯狂卖淫,与多名男子嫖宿被抓!

世界听平说
2020-11-25 15:16:12

成名前她自爆一年被潜规则上百次,连在厕所也未能幸免

只剩山高水长
2020-11-22 07:37:20

银行一次性存入“这个数”,基本生活不愁,每月领3000“生活费”

育儿的健康知识
2020-11-25 19:48:28

终于要来了!国产新冠疫苗正式申请上市 概念股已闻声涨停

脑洞碎碎念
2020-11-25 20:44:52

紧急时刻,山大学子挺身而出...

双一流高校
2020-11-25 16:06:41

恐怖而公开的冥婚市场,十几个丧子家庭医院争抢病危女孩

码头青年
2020-11-25 15:02:35

男技师认识女富婆,两人组织卖淫团伙,最小女嫖客只有25岁!

热点资讯studio
2020-11-25 11:27:24

美国始料未及!日本光刻机巨头表态,中国芯片迎来转机

综艺说啊
2020-11-26 13:51:40

法律解读:老人300万房产赠予水果摊主,家属反对称其“痴呆”

胖乎律师
2020-11-25 16:28:22

印度遭遇百年灾难,求助美国,美国却表示:只有中国能帮助他们

康澎爱娱乐
2020-11-25 21:36:20

亚冠1-1!恒大绝境下爆发!卡纳瓦罗神奇换人:9分钟后把比分扳平

侃球熊弟
2020-11-25 19:22:15
2020-11-26 16:28:59
http://dingyue.ws.126.net/NtEgja1fms1nwdmZ7yXGFTy561opliZkLVhEyzVxuC1fM1489743075536.png
机器之心Pro
专业的人工智能媒体
5437文章数 110069粉丝数
往期回顾 全部

科技要闻

不收现金要挨罚!央行将全面开展拒收现金集中整治

头条要闻

叛逆英雄马拉多纳:吸毒、酗酒、放纵、非常痛恨美国

头条要闻

叛逆英雄马拉多纳:吸毒、酗酒、放纵、非常痛恨美国

体育要闻

传奇落幕!阿根廷球王马拉多纳因病去世 享年60岁

娱乐要闻

刘涛化老年妆变犀利奶奶

财经要闻

汽车要闻

美女上车不怕走光 日产全新SUV座椅能旋转

态度原创

时尚
教育
健康
本地
军事航空

不硬凹少女感 经历岁月沉淀的小陶虹更有韵味

教育要闻

教育最大的悲哀:老师让位,家长越位,学生错位

打玻尿酸变“僵尸脸”咋回事?

本地新闻

想喝福建野菜汁?我劝你耗子尾汁

军事要闻

美军士兵开车时被F16轰了5炮 车身满是窟窿