网易首页 > 网易号 > 正文 申请入驻

挑战Deepfake中科大斩获亚军,与第一名仅差 0.0005,系Kaggle史上奖金最高的比赛

0
分享至

  美国大选在即,为了防范 Deepfake 视频干扰选情,Twitter 和 Facebook 分别做出了应对策略,Facebook 将会删除其认定的 Deepfake 视频,而 Twitter 打算在相关视频页面给出提示。

  早在去年年底,Facebook 就拿出 1000 万美元当奖金,举办全球范围内的 Deepfake 检测大赛。这也是 Kaggle 平台历史上奖金额度最高的竞赛。

  后经半年的酣战,中国科技大学的俞能海、张卫明教授团队从全球 2265 支队伍中脱颖而出,获得亚军,最终成绩与第一名仅差 0.0005。此次挑战赛共收到 3.5 万个检测模型,能够夺得第二,实属不易。

  该团队的周文柏博士告诉 DeepTech,本次比赛所获得的 30 万美元奖金会用于实验室建设和选手奖励。

  这支名为 “\WM/” 的队伍,主要由中科大信息处理中心的博士后、博士生和硕士生组成。虽然团队获奖信息在当时并未引起媒体太多关注,却在业界广为人知。不少企业主动来寻求合作,周文柏透露,华为、浙江省广电等企业就希望能够运用人工智能技术,希望预防手机拍摄的媒体素材、或者电台公开的素材被恶意篡改。


  图 | Deepfake 检测挑战赛(来源:Kaggle 官网)

  算力不优越,却能取得第二名

  值得关注的是,这次迄今最大规模的 Deepfake 检测挑战赛也暴露出,目前的检测技术远远不够。在训练数据集上能够达到 90% 准确率的模型,到了验证数据集上,平均正确率只有 65.18%。

  因此两个阶段的名次变动非常大,不少第一阶段表现优异的模型,到第二阶段败下阵来。为什么会出现这种情况?

  这与比赛的数据集有关,进行训练所有数据集都是预先公布的;而在验证环节,许多直接来自视频网站,基本等同实战。正是在这些首次遇到的视频面前,一众模型纷纷失去了被调教出的火眼金睛。

  来自中科大团队的周文柏博士解释,由于验证阶段的数据集很多是从视频网站上获取的野生数据,这会非常考验通过已知数据训练出模型的迁移能力。在第一阶段中,排名靠前的许多团队来自企业,拥有较好的算力资源,因此可能发挥的是算力优势,而非算法优势。

  在训练阶段一些模型有潜在的过拟合现象。当遇到陌生数据集,这个缺点就会被放大。

  难能可贵的是,中科大团队却势如黑马。第一阶段在 37 名,第二阶段直接蹿升到了第 2 名。

  本次比赛中,有的大型企业团队使用了 100 多块 NVIDIA V100 GPU,中科大团队只用了不到 50 块 NVIDIA RTX 2080Ti GPU。无论是数量还是性能,中科大团队所使的 GPU 都与企业团队有较大差距,却依旧能得到最终第二名的优秀成绩,这足以说明其算法的优越。


  图 | 中科大参赛团队 \WM / 验证阶段取得第二名,比训练阶段名次上升了 35(来源:Kaggle 官网)

  Deepfake 检测属于二分类的问题,即判断是真还是假。现有的分类方法大多是两种思路。一种从微观角度,沿用的是计算机视觉中图像分类的方式,比如寻找视频经过篡改所留下的像素痕迹,或是人脸部的细微特征差异。

  另一种宏观角度,则借鉴了传统的取证技术的思路,从视频的整体内容上进行检测,比如语音信息和人像结合,人物形象和背景融合等方向来寻找线索。

  周文柏介绍,他们团队的思路则介于微观和宏观之间,将 Deepfake 检测当作一个细粒度分类的任务。传统的图像分类是指将花、猫、鸟等对象进行分类,而细粒度分类任务则是在某一个大类下,继续分出不同的类别,比如不同的鸟类、不同型号的汽车。

  大多数 Deepfake 视频的篡改痕迹非常微弱、并且只集中在局部区域,因此模型首先要捕捉到这些细微的篡改痕迹;其次,在应对实际情况时,包括光照、人脸转向等不同场景的变化,要求模型还能实现细节捕捉。

  相较于密码学,或者互联网通信这样的领域,Deepfake 检测依旧处于很初步的阶段,“哪种方法效果好,就向哪个方向去靠近,没有完整的理论体系。” 周文柏形容,“我们可能抓住了问题比较本质的角度,所以取得了比较好的效果。但是现在认为的这套理论也不一定正确。”

  目前的 Deepfake 检测只能判断视频是真还是假,在接下来的研究中,周文柏和同事想实现对视频的伪造做出解释。此外,还希望更多地利用视频帧与帧之间的信息作为检测依据。

  目前已经有一些方法在利用这种帧与帧之间的关联进行检测,但是利用还不充分,这就导致视频的检测结果往往差于图像。“但视频有一个持续的特征,有可能比图像包含更多的信息,所以视频检测还具有非常大的研究空间。” 此外,利用生物信号来检测,也是值得研究的方向。

  信息和人工智能安全研究团队,多项技术已经应用

  在此次 Deepfake 检测比赛中凭借普通的算力支撑,获得了第二名,显示了中科大团队在人工智能安全领域的实力。这只是团队的成果之一。俞能海、张卫明教授团队来自中科大信息处理中心,他们研制的多项技术已在实际中运用。


  图 | 俞能海(左)、张卫明(右)(来源:中科大官网)

  其中,“摄屏溯源水印” 技术已在中电科、国家电网、中国电子、中国金融期货交易所等多家单位应用,并在 2019 年国家网络安全宣传周获得 “网络安全创新产品优秀奖” (第一名)和最具投资价值奖。

  电子时代的信息形式发生了改变。在很多时候,电脑屏幕上的内容被手机随手拍摄,就可以轻易流传出去,并且因为没有物理痕迹,难以查证。

  中科大团队开发出的 “数字水印” 就是在电子屏幕上以人眼看不见的方式打上水印。这样,被摄屏的照片就会留下标记,也就是水印中所提供的信息。用特殊的工具从图片中提取信息,就可以得知拍摄发生的时间、地点、以及机器识别码。通过这样的信息,就能在物理世界中进行泄密溯源和追踪。


  图 | 数字水印技术(来源:受访者)

  在人工智能安全领域,团队也一直在与阿里巴巴进行合作。像淘宝、天猫等平台的信息发布审核中,需要过滤掉危险和有害的信息。可能存在的风险是,攻击者利用人工智能技术躲过信息审核。团队在做的事情就是利用人工智能技术进行防御。

  深度学习技术目前一直存在无法消除的漏洞,于是带来了相应的研究主题:对抗性攻击。

  基于深度学习的计算机视觉技术尽管发展很快,却存在着致命的弱点。举例来说,一张可以被模型识别的图片,如果被加入一些噪声信息,尽管人眼看不出变化,但模型就无法准确识别了。

  除了网络上的信息安全可能受这项技术影响,这项也已经被美国写入 “算法战” 中。无人机侦测的目的是把军事目标识别出来,然后传递给指挥部。利用对抗技术,将噪音以物理形式添加在武器装备上,就可以干扰无人机侦测,形成错误的作战指令。

  在 Facebook Deepfake 比赛获奖之后,团队也接到了许多相关的合作需求,华为、浙江省广电等企业希望能够运用人工智能技术,以避免手机拍摄的媒体素材、或者电台公开的素材被恶意篡改。

  这属于对于 Deepfake 的主动防御。中科大提供的解决方案就是基于 “对抗性攻击”,在媒体素材上增加噪音,不影响媒体视频本身的质量,但是却会对算法形成明显干扰,从而无法进行窜改。

  潘多拉魔盒已开,防患于未然

  Deepfake 一词诞生于 2017 年,源于网友将深度学习技术运用到视频伪造领域,现在这个词已经泛指图片和视频的 “人脸伪造” 技术。

  7 月份,麻省理工学院(MIT)发布了一个 7 分钟的视频。视频中,尼克松总统悲伤地宣布了阿波罗 11 号计划失败:“命运已经注定,那些前往月球进行和平探索的人将留在月球上安息。”

  这个视频来自 MIT 高级虚拟中心新成立的 “月球灾难事件” 项目。项目希望能帮助人们理解 Deepfake 能够带来的危险。


  图 | MIT 月球灾难事件项目(来源:MIT)

  Deepfake 自出现以来,从技术发展上而言依旧处于早期阶段,只能给人们提供简单的娱乐。如果从国家和社会安全的层面而言,这项技术将来如果继续发展,带来的威胁远大于便利。

  这也是为何无论业界、学界、还是政界都对这项技术高度关注的原因。

  “可能现在 AI 换脸还没有掀起大风波,但从我过去几年的惨痛经历看,应该提前做好准备,而不是被突发事件打个措手不及。”Facebook 首席技术官迈克施罗普弗(Mike Schroepfer)表示。

  更痛的记忆来自稍远的一段历史:本拉登借助隐蔽通信制造了 911 事件。亡羊补牢的结果之一,是之后十几年隐蔽通信及检测技术得到了快速发展。

  围绕 Deepfake,必然也会有一场长期的技术对抗。


  -End-


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐

“沪上皇”秦奋到底啥来头?十几辆千万豪车,他爸比王健林还有钱

怪咖说史S
2020-12-01 18:02:44

2020英锦赛八强出炉!破百榜更新!丁俊晖稳居第7仍有望超越塞尔比

开球咯
2020-12-03 21:36:14

事故发生前,系统预警了37次,监管后台竟无一次人工提醒

CCTV今日说法
2020-12-02 17:09:42

1-2!又一韩国豪门亚冠出局,末轮打平出线还是输了,全队绝望

排头体育
2020-12-03 22:59:14

张常宁最新训练照,动作过大露出腹肌,没有一点赘肉,身材太好!

体育全网通
2020-12-03 15:43:35

这届网友太损了!石家庄永昌正式辟谣改名冀霸:有人恶意伪造截图

足球部落
2020-12-03 15:59:01

网红滤镜有多强?看到刘思瑶镜头下的火龙果,原谅我没见过世面

少糖不加冰星座女
2020-11-25 11:15:16

特朗普怕是没想到,刚同意进行权力交接,美国记者就曝出一则猛料

海峡要闻
2020-12-02 19:03:04

损失将超5500亿,澳大利亚各界发声:中澳冲突,“罪”在澳洲!

金十数据
2020-12-03 18:40:03

32岁复旦女博士的临终感悟:上进是浮云,人生只有这一个保障

第一心理
2020-12-03 15:08:15

缴纳“最低档”15年社保,在60岁退休后,每月可以领多少养老金?

商媒体
2020-11-30 11:23:03

抛弃阿拉伯富商,蕾哈娜交新男友啦!统治全球奶罩事业在即!

左右为篮
2020-12-03 10:52:40

中国或将清零美债,引爆美国市场“核弹”出现!罗杰斯:付出代价

和讯财经
2020-12-02 14:08:28

彻底平庸?广东国手跌落神坛,昔日比肩三大后卫,如今沦为替补

开球咯
2020-12-03 22:09:13

《大秦赋》9集过后,暴露了最大的败笔,吕不韦就自求多福吧

小郁旅游
2020-12-03 12:30:32

女技师情感实录:儿子15岁,身边是2个“准备离婚”的男人

文字怪人
2020-12-03 17:23:20

艾滋病起源于黑猩猩,第一个感染的人,到底对黑猩猩做了什么?

胖福的小木屋
2020-12-02 08:42:11

澳籍主播向赵立坚道歉,表示自己准备放弃国籍不再回国,澳:叛徒

防务视野
2020-12-03 17:06:46

美国要变天了?最新民调出炉,41%美国人态度说变就变

海峡军志
2020-12-03 22:58:47

美国通过中企最新打压:不达标退市!应对中国,拜登要搞大动作?

和讯网
2020-12-03 08:40:50
2020-12-04 00:08:59
DeepTech深科技
DeepTech深科技
麻省理工科技评论独家合作
7894文章数 433714粉丝数
往期回顾 全部

科技要闻

回家!嫦娥五号上升器点火起飞!

头条要闻

那个揭开澳军黑幕的人 是如何撬开特种军人嘴的?

头条要闻

那个揭开澳军黑幕的人 是如何撬开特种军人嘴的?

体育要闻

"恒大"要消失了! 广州恒大新赛季将更名"广州队"

娱乐要闻

小淑女!甜馨参加钢琴比赛与妈妈合影

财经要闻

汽车要闻

20万买换壳XC90真香 定位中大型的领克07来了

态度原创

亲子
本地
旅游
艺术
公开课

亲子要闻

为什么大多孕妇是晚上生产?妇产科医生的答案出乎意料

本地新闻

被人养的滋味,没有那么爽

旅游要闻

美女在景点拍裸照 被当地警察逮捕!

艺术要闻

嘉德秋拍:朱敦儒、傅抱石巨制过亿成交

公开课

年轻人为何都考公务员?进体制这么“香”吗?