深度谈“芯”丨为算法落地提供芯片土壤：深思考的AI端计算方案

近日，在华为全联接大会2018上，华为公布了未来AI发展战略。其中最为怦然“芯”动的是其发布了两款AI芯片，让大家重新燃起了“中国芯”。

为了了解人工智能芯片领域的发展趋势及应用，布局人工智能芯片战略和发展之路，10月26日，“芯动力人才计划”第二届人工智能芯片技术与应用研讨会于南京完美闭幕。本次研讨会邀请了知名学界和业界专家、生产和研发知名企业、业内创业新星、投融资方面单位，共计300名左右嘉宾参加。作为全球首款医疗影像专用AI芯片的发布者，深思考人工智能iDeepWise AI解决方案副总裁尚会滨代表深思考参会，并发表了题为《为算法落地提供芯片土壤：深思考的AI端计算方案》的演讲，受到业内专家广泛关注。

AI落地是众望所归的事情

深度神经学习ASIC被Gartner列为未来2-5年会成熟的技术，包括投资界，科技界和有落地需求的行业都非常希望有合适的终端计算的ASIC产品来落地，解决具体的问题。

另一方面，人工智能行业本身面临很大的压力。面对全球经济增长乏力纳斯达克面临回调压力，大家已经把支撑技术价值增长的希望放到了人工智能行业身上，所以，如何使其落地并体现价值，甚至带动其他科技产业的增长是人工智能行业当前要做的事情。

在人工智能落地过程中，AI芯片起到了不可替代的作用。魏少军老师说，AI芯片是AI技术发展过程中不可逾越的关键阶段，不管有什么好的AI算法，要想最终得到应用，都必然通过芯片来实现。

芯片为人工智能训练提供算力基础，从AI落地场景来看，芯片为人工智能提供便宜的，方便的，可普及的终端。以现在发展迅速的智能网联汽车而言：从数据中心来看，高计算密度芯片提供训练和云推理服务；从基站来看，到了5G时代基站高计算能力芯片对高通量数据起到了数据漏斗的作用。

会上，尚会滨提到，从车载终端来看，芯片要提供对多达几百项传感数据的处理保证行车安全，还要提供令人舒适的车载系统，包括多模式可跨域的深度语义系统来保证交互体验，深思考的“深义”系列多模态智慧车载深度语义理解机器人（iDeepWise.ai bot 4.0）已经和一些车企进行了合作，后续也有望落地成芯片模式。

AI端计算需要芯片算法与场景的密切匹配

这里车载端或终端的计算处理，我们也叫它 Inference On Device，是深思考目前在发力的领域。为什么呢？其实在这个领域提供方案的厂家也有很多，一种是芯片公司来提供通用的硬件加速器芯片或者IP；一种是人工智能公司结合自己的场景算法来提供专用芯片或系统，前几天的安博会产业界一口气推出了30多款芯片或模块，即使这样还是有很多行业厂家用FPGA或GPU来自行开发。为什么厂家要自己开发？因为通用芯片或加速器功耗或算力达不到要求，专用芯片又不能将自有算法移植上去，只好自己开发。

但是行业客户毕竟自己不是AI公司，他们的算法移植过程中会面临优化（算法本身优化，算法与硬件平台匹配）不到位，功耗不达标的窘境。所以依赖特定硬件平台，结合特定场景，优化移植特定算法，这是一个需求细分的市场，也是实实在在有很多客户需求的市场，深思考正好可以结合自己的芯片级方案和算法优化技术为客户提供解决方案。

深思考的端计算解决方案

深思考本身在芯片级解决方案方面有较深的积累。今年3月深思考发布了世界首个医学影像专用AI处理器，并且已经应用于国内宫颈癌筛查设备和服务，后续有望在更多医学影像处理场景里发挥作用。作为深度学习硬件技术的推动者，深思考将深度学习技术进行算法级和芯片级的深度优化，提供特有的深度学习芯片级解决方案。

深思考的芯片级方案可以概括为:

两个技术，两个方向，两种形式

两个技术：

深思考方案的基础是专用NPCore IP（embedded FPGA或ASIC）和专利的计算压缩技术DeePress。专门设计的Neural Processing IP Core包含了深思考专有的Block Convolution技术，计算效率可以比常规IP提升4倍以上；而且深思考还对高速Memory controller存储带宽进行了优化可以更好配合计算单元对于大数据量高速的要求。DeePress技术通过使用优化后的压缩修剪等技术，可以再减少约90%计算量的前提下控制精度损失在3%以内。

两个方向：

两个方向是指落地的两个场景方向，一个是医疗影像处理，这方面深思考已经有了行业方面的资源积累，并且已经有了落地的芯片方案，后面将会结合下游合作伙伴或最终客户的需求，将硬件平台推广到更多的应用场景中去；另一个是以人车交互为代表的车载（机载）平台，侧重于实现语义的深度理解（包括自然语义理解，图象深度理解及综合判读）来实现让机器更好的理解人，服务人的目标。

两种形式：

两种形式是指芯片级方案的实现形式，包括：1. 基于FPGA+ARM的深度学习平台，综合利用FPGA高带宽可重构和ARM处理器的应用优势。在这一平台上，可实现CNN、DNN和RNN算法的高效加速，客户的算法可以借助这一平台，提升系统级人工智能设备的反应速度并极大改善使用体验；2. 深度学习计算ASIC方案，深思考与合作伙伴可为企业客户提供深度学习计算ASIC（半定制集成电路）的设计整合方案甚至车规级芯片方案，在65nm/ 45nm/40nm/28nm等先进工艺节点为客户提供独特的深度学习芯片设计支持，提供turnkey式服务，方便客户在特定场景低成本高可靠性部署自己的算法方案。

全球首款医疗影像专用AI芯片

iDeepWise M-DPU

会议最后，尚会滨同大家分享了深思考方案在医疗领域（宫颈癌筛查）落地的实例。

2011年，我国颁布《中国妇女发展纲要（2011-2020年）》，其中特别指出需要加强妇女两癌（乳腺癌、宫颈癌）的筛查工作。但我国现在的国情却是阅片人员匮乏，阅片数量压力大，阅片经验有限，阅片人员由于疲劳和技能水平及主观判读等因素造成一定的漏诊以及误诊，限制了早期筛查在癌症防治中的作用。除此之外，优质的医疗资源主要分布在一线城市，而偏远地区医疗资源匮乏。因此人工智能非常适合在该领域发挥作用，实现自身价值的落地。

深思考针对医疗影像垂直场景，提出了专用的 AI 算法 + AI 芯片级一体化解决方案，iDeepWise M-DPU 针对医疗影像AI算法专门优化，具有大算力、尺寸小、低功耗、扩展接口丰富、易集成、数据隐私保护安全，可方便的集成在医疗影像设备中等突出优势，可使得 AI 医疗算法模型能够高性能、高精度运行在医疗终端设备中，其中iDeepWise M-DPU针对医疗影像常用的AI算法提供了SDK以供调用，大大降低智慧医疗AI的门槛，从而最终构建一个智慧医疗的解决方案平台，比如：常见的细胞与组织堆叠的分割算法、常见的医疗影像AI算法：Faster R-CNN 、SSD、FCN、Resnet。另外除了硬件平台解决方案外，深思考借助自己在NLP方面的技术积累，还提供自然语言处理与交互为基础的健康咨询模组，通过深度学习人工智能技术实现对宫颈癌等癌症筛查、问诊（术前咨询、术后康复指导）等功能。

借助于深思考AI芯片（M-DPU）+算法+场景的一体化方案的优势，目前该方案已同多家大型医疗机构与知名三甲医院达成合作，进入了实际应用阶段。经过大量的测试结果显示，这款芯片在100秒之内能够智能分类90000个细胞。而在TCT的应用上，iDeepWise M-DPU 加上其深思考自研的专用宫颈癌细胞识别算法给出了更为出色的成绩：鳞状上皮细胞异常检测敏感性达到 98.4%，特异性达到 99.77%，腺细胞异常监测敏感性达 93.4%，特异性逼近 99%，细胞类别分类精度达 99.3%，超过美国国立卫生研究院NIH。

该方案特别适合医疗领域的应用，但并不局限于宫颈癌筛查一个具体场景，可以预见的是将在多病种的筛查中都会有非常好的应用前景。