张亚勤：深度学习更近一步，如何突破香农、冯诺依曼和摩尔瓶颈

　　机器之心发布

　　联想创投2020 CEO年会

近日，在联想创投 2020 CEO 年会上，清华大学讲席教授、智能产业研究院院长、美国艺术与科学院院士、百度前总裁张亚勤先生带来了《未来科技趋势展望》。

　　张亚勤表示，数字化的 3.0 时期已经到来，数字化的范围已从内容、社交和企业服务领域向物理和生物世界进行延伸，将我们熟悉的城市、工厂、电网、家庭向智慧交通、工业互联网、智慧医疗等方向进行升级，为了完成物理世界的「数字化」，数据需要更清晰地让数字世界和现实世界一一对应，通过深度学习，计算机不断加深着对于人类世界的认知。

　　随着数据的海量爆发，如何突破目前的算力，成为了一代又一代科学家攻克的关键，香农定律、冯诺依曼架构和摩尔定律奠定了传统计算与通讯范式，如何突破已经接近极限的三种理论？张亚勤表示，需要通过对信息的重新定义，制定新的计算范式、计算体系和通讯架构，而它们又给产业带来了新的机会。为此，中国需要抓住机会，引领数字化的 3.0 时代和第四次工业革命浪潮。

　　清华大学讲席教授、智能产业研究院院长、美国艺术与科学院院士、百度前总裁张亚勤发表演讲

　　以下为张亚勤演讲全文：

　　大家下午好！非常高兴能够来到联想创投 CEO 年会，作为中国 IT 的 icon，联想 36 年历经坎坷，也取得很多进展，尤其是联想的「3S」战略，和我今天要讲的内容「智能技术趋势」非常吻合。

　　数字化进程的演变与 3.0 时代的到来

　　回顾 IT 产业 30 年发展历程，最大的特征就是数字化。第一波数字化开始于 80 年代中期，也是联想成立的时期。围绕自然界的内容表述，数字化的范围包括音乐、视频、声音、图像等，算法和标准有 MP3/4、H.26、AVS 等；随着 PC 的推出，又出现了 PPT、EXCEL、WORD 文档数字化。

　　第二波数字化开始于 90 年代中期，在内容数字化的基础上加上互联网、HTDP、HTML 的产生，从而催生消费者互联网，从早期的 PC 网站、门户，到搜索、电商、社交，再到后来的共享经济、Zoom 等视频通讯、数字货币和移动支付。从产品体验和规模等方面来看，中国在移动互联网时代下的消费互联领域整体领先于世界。

　　与此同时，企业也在数字化方向不断细化与革新，比如 ERP、CRM、HR、Supply Chain、BI、workflow 等管理系统的诞生。在云领域，中国已在逐步追赶基础设施云的建设，逐渐缩小与其他国家在规模效应上的差距。

　　我认为，中国软件的发展跳过了以「软件作为产品」的时代，直接进入以「软件作为服务」的时代。互联网本身就是「软件作为服务」的一种符号，作为一种新软件模式，我认为大量 SaaS 公司会在 5 年之后陆续出现，未来 SaaS 平台会有很大的机会。

　　现在，我们进入了数字化 3.0 时期，也即智能感知时代，这个阶段发生了两方面转变：一是物理世界的数字化，我也把它叫做「互联网的物理化」——工厂、电网、机器，乃至所有移动设备、家庭、城市都在向数字化发展。在这个过程中出现了相较于过去上千甚至上万倍的海量数据，比如一辆无人车每天产生的数据量大约 5-10T；相比于数据主要提供给人员辅助决策的 1.0 和 2.0 时代，数字化 3.0 时期 99% 以上数据在机器间传输，到最后一环节才传递给人员。

　　第二个方面的转变生物世界的数字化，人们的细胞结构、所有器官乃至整个身体都在数字化，整体数量级比物理世界大上千倍。从虚拟、宏观到微观，整个数字信息世界、物理世界和生物世界正在走向融合。此外，「数字孪生」技术可以让我们更加清晰地将物理世界和生物世界进行一一对应。

　　有了大数据之后，我们还要实现数据的结构化和智能化。在人工智能的 60 年发展过程中，有「冬天」也有「春天」。人工智能根据不同算法大致分为两类：一种是逻辑推理，是以知识为驱动的算法；另一种是以大数据为驱动的算法，两者都运用到了人类大脑的基本认识、基本模型和决策模型。

　　过去十年里最流行的深度学习，基本是以大数据、大计算、大模型算法来驱动，其中包括 AlphaGO、AlphaZero。深度学习确在过去一段时间取得很好的进展，比如 GAN、Transfer learning，到现在的 GPT-3 等等。未来，深度学习还有很大发展空间，其算法需要结合符号逻辑、知识型推理和更多模型的因果关系和新的范式，目前对于产业来讲，未来五至十年，深度学习还会是最重要的算法。

　　根据 Google AI 负责人Jeff dean 的观点，人工智能的三大要素是数据、算法和算力，实际上是数据加上 100 倍的算力，并且算力比数据更重要 100 倍。这个观点我不完全同意，但我同意在目前深度学习框架下，算力十分重要。

　　突破香农、冯诺依曼、摩尔瓶颈，推动算力发展

　　怎么突破目前的算力？过去 60 年，传统计算与通讯范式有三个重要原理：香农定律、冯诺依曼架构和摩尔定律。

　　香农定律，定义了熵、信道容量和失真情况下压缩极限，目前，我们距离这三个极限已比较接近。冯诺依曼架构是指五个最基本模块加上程序存储原理，是图灵意义下最好的一种实现，但它的瓶颈在于数据和计算的分离。在深度学习中，庞大数据量本身就会形成一个瓶颈。最后还有摩尔定律的限制。

　　如何突破这三个瓶颈？

　　首先，我们需要对信息做一个重新的定义，制定新的计算范式。另外，进入互联网时代，香农理论从点对点通讯延伸到多用户信息论，但真正的理论框架并没有太大进步，所以需要更多理论层面的模型更新，否则深度学习就很难引入因果关系和模型。

　　目前，图像视频编码技术的发展已经达到性能极限，如何用 AI 彻底、大幅度地进行改善也需要我们的思考。

　　此外，还需要新计算体系和通讯架构，创新传感器类型。传感器能够获取各种各样的数据，所以非常重要。有观点认为，人用「小数据」就可以做决策，但我认为大数据是机器的优势，虽在决策方面与人相比稍有欠缺，但在获取各种不同数据时比人更有优势。

　　同时，需要新模态。深度学习需要的 Tensor Products、线性代数、布尔代数等要素在传统的冯诺依曼架构下不易实现，通过研发 GPU、ASIC 等技术加速并彻底形成新架构成为了大趋势。除了传统的英特尔、AMD，谷歌、百度、地平线、寒武纪等公司也在做这件事，在新架构产生之后，就会随之产生更多新算法、新模型、新型芯片，这将是一个非常大的机会。

　　这是一个我在百度启动的项目：昆仑芯片，这是一个大型芯片，主要用于大型训练，已经在百度部署。第一代昆仑芯片能在 150 瓦的功率下实现 260 TOPS 的处理能力。第二代昆仑芯片采用 7nm 先进工艺，相对于第一代芯片而言，性能提高了 3 倍。

　　核心基础设施「ABCD」带来智能时代的颠覆性改变

　　计算、通讯、新架构、新算法，它们给产业带来的新机遇，就像联想的「3S 战略」，在 IT 行业不断升级的背景下，为整个产业带来了新机遇甚至是颠覆性的改变。

　　抓住新的行业机遇，我们正在面临第四次工业革命，如果说前三次工业革命中国是旁观者，但在这一次，中国有机会在很多方面成为引领者。

　　面向第四次工业革命，我们希望能够打造成一个国际化、智能化和产业化的智能产业研究院（AIR）。我们有三个方式达到这个目标：最重要的是吸引一流人才，特别是担任过 CTO、研究院院长的人才，另外还要有深厚的学术背景和丰富的企业经验；其次，研究院还要培养目前我们还比较缺乏的、具备深度大系统思维能力和顶层设计能力的 CTO 和顶级架构师；最后，我们要打造核心技术并逐步将其发展为公司。

　　目前，我们刚刚起步，除我之外，还有两位联合合伙人，一位是马维英博士，他是电气电子工程师学会院士，字节跳动副总裁、人工智能实验室主任，也是微软亚洲研究院前常务副院长；另一位是赵峰博士，他也是电气电子工程师学会院士，还是前海尔集团 CTO、副总裁，全球 loT 教科书编写者。这两位联合合伙人非常符合我刚才的描述，不仅发表很多学术文章，同时又有丰富的产业经验。

　　我们聚焦于三个研究领域：智慧交通、工业互联网、智慧医疗。我认为，智慧交通能够为整个社会和产业带来巨大的影响，作为未来 5-10 年最有挑战的技术，无人驾驶还能够通过狭义的人工智能解决自身的难题。我们还聚焦工业互联网、IoT、智能感知，因为它们是数字世界和物理世界的接口；在我们看来，AI 在未来十年还可以深层次地改变整个医疗健康产业，不局限于 AI 机器人针对病人和医护人员的协助性工作，还包括制药、蛋白质结构预测等，实现以上三领域的发展都需要基础设施「ABCD」，即 AI、Big Data、Cloud、Device，以及学者对基础科学研究的支持。

　　在 AIR，我们采用完全开放的模式，希望和整个产业有多种形式的合作，比如联合实验室、联合科研项目、共同孵化项目，我们也希望能够通过这个机会认识更多创业者，让大家更了解 AIR，大家齐力构建更大的生态圈。