高出GPU服务器30倍,雪湖科技要做FPGA性能的颠覆者

x
用微信扫描二维码
分享至好友和朋友圈

  

  专注于“小众化”的FPGA开发和应用,园区企业上海雪湖信息科技有限公司(以下简称“雪湖科技”)希望凭借多年的开发经验积累和自研开发工具,将FPGA芯片推向人工智能舞台的中央。

  在因为批量开发难度大和成本过高,FPGA一直作为“技术验证者”的配角存在的现状里,他们如何进行“破局”,做出精彩的加速方案?请和小智一起来看看吧!

  FPGA(FieldProgrammable Gate Array),又称可编程式门阵列,1985年由赛灵思(xilinx)创始人之一Ross Freeman发明。“可重构的计算”是FPGA相比其他架构芯片最为鲜明的特性。但同时对于开发者而言也提出了较高的软硬件开发门槛,经过34年的发展,FPGA的应用仍偏向小众。

  

  赛灵思CEO Vitctor Peng曾表示,截止目前,赛灵思培养的全球开发者约1400人。 “国内大概在千人规模左右,而且集中在中兴、华为等通信公司以及部分科研院所”,雪湖科技联合创始人、COO王韵谈道,“真正用FPGA来做加速方案的寥寥无几。”

  雪湖科技成立于2017年,于2018年11月入驻浦软,是一家聚焦于提供以FPGA为主的异构计算解决方案的企业,技术优势体现在的异构计算开发移植、算法重构与优化、架构优化等方面。基于雪湖科技自研的FPGA开发框架Ptero Tool,能够让AI算法类项目的开发效率提升3倍,芯片资源利用率提升至98%,对比GPU的云端服务器实现30倍的性价比提升。

  而雪湖科技的团队成员自诩为“搭积木的人”——“FPGA是乐高积木,用最少的积木搭建出整个高楼大厦——这就是我们的能力。”

  牵手美图手机

  企业首个FPGA加速方案落地

  2018年6月底,在北京颐和园发布会上,美图手机宣布FPGA加速神经网络计算项目正式落地。这,同时预示着雪湖科技和美图影像实验室MTlab的合作项目正式投入运营。这是企业创立10个月以来的首个落地项目,它将为美图的最新款手机带来30倍的运算速度提升。

  在此之前,美图一直在积极寻觅云计算中心的加速方案。“对于大部分以图片和视频为主的应用公司而言,云计算的核心诉求包括两个,一是希望项目部署越快落地越好;二是不局限用芯片方案,但要求性价比最高。”雪湖科技创始人兼CEO张强说道。

  
基于ZYNQ 7020的CNN加速模块

  张强表示,异构计算的特殊之处在于,它是非冯诺依曼架构,但传统软件行业都是建立在冯氏架构之上。所以切换到异构计算之后很多人觉得不适应,FPGA基本上颠覆了大部分人对于芯片的认知。

  经过4个月的奋战,张强团队按照美图设定的设计需求与芯片规格完成了算法移植。“Demo演示的时候,他们(美图)都感到很意外,”张强回忆起当时的场景,在一颗10美金的ZYNQ 7020芯片上运行复杂的CNN算法即使是现在也没人敢尝试。

  次日,美图就向雪湖科技发送了投资协议。2018年1月,雪湖科技正式完成天使轮融资。

  除了云计算中心加速和私有云搭建方案,雪湖科技目前还在大力投入自动驾驶芯片市场。“FPGA芯片在车载领域应用将会是一个主流,我们发现2018年开始从ADAS到L3/L4自动驾驶都开始选择FPGA作为主要的运算加速平台。”张强透露,团队正在与国内一家自动驾驶团队合作开发基于端侧的L3自动驾驶感知层方案,预计明年初将落地。

  多年来始终坚持

  创始人是FPGA信徒

  作为FPGA在国内的千人开发者之一,张强绝对算得上是一名虔诚的异构计算“信徒”。他前后经历两次创业,上海交大电子系毕业后便投身于异构计算的加速应用中,但由于市场环境等原因无疾而终,三年后张强再次重返异构计算的赛场,依旧无比坚定。

  

  早年,张强曾以核心开发人员的身份参与了多个全球性的FPGA科研项目。2009年,张强参与了比尔盖斯基金旗下非洲的疟疾防御计划——以激光的方式击打疟疾的主要传播源蚊子。张强所在团队主要承担激光打蚊子的算力部分,对视觉算法进行加速。张强团队还参与了全球首个基于FPGA的基因比对计算项目。此外,张强还与NASA顶级研究员Olaf Storaasli博士一同参与了基于FPGA异构计算的有限元分析,通过该平台,NASA获取了超过常规计算平台60-100的运算速度提升。

  在2014年,张强和朋友等人一起创办乐蜗VR,推出基于虚拟现实技术的头盔及软件应用。该公司在2016年年中被华人文化旗下的微鲸收购。在微鲸,张强遇到了同为半导体行业背景,此前在日本富士通担任亚太区市场总经理的王韵。

  回顾过去十余年的同构计算发展路线,工艺与应用规模高速发展,核心架构却没有发生太大变化。与此同时,CPU发展所主要依赖的半导体工艺红利却在消失。“摩尔定律失效后CPU的发展路线将会平缓,算力将会出现缺口,需要GPU、FPGA、ASIC等异构芯片去填补。”基于同一个判断,张强和王韵开始了异构计算的创业征途,并找了曾经在超算领域一同打拼的伙伴。

  

  雪湖科技核心团队,从左往右依次是创始人兼CEO 张强、COO 王韵、系统专家 赵小吾、算法专家 杨付收

  张强认为,基于数十年的研发经验,雪湖科技团队对FPGA的理解更为深刻。他认为ASIC芯片面临的巨大痛点在于摊销的成本太大。比如,7nm的研发高达投入3亿美金,至少要百万片的销量才能摊销掉高昂的成本。

  基于王韵此前在富士通的工作经验和资源,雪湖科技团队首先从云端计算应用需求强烈的手机客户切入。2018年年6月,美图的FPGA加速神经网络计算项目正式落地。

  
雪湖科技FPGA服务器

  该方案正在逐步替代美图云计算中心的昂贵且大功耗的GPU服务器。张强介绍,“英伟达的数据中心GPU平均在1万美金左右,算力约为35T;我们即将要升级的服务器1U算力能达到400T,成本只要3000美金。”

  目前,雪湖科技团队规模约为20人左右,定位于为上下游赋能,上游对接FPGA芯片厂商,同时连接下游的应用厂商。年初,雪湖科技获得美图天使轮数百万投资,正在推进Pre-A轮融资阶段。

  资源利用率“爆表”

  “颠覆”传统芯片参数

  “算力只是一个间接指标,”张强说道。

  在算力堪比“石油”燃料的AI时代,一款芯片的算力指标显然已经成为最核心的参考因素。算力,即单位时间内芯片所能提供浮点计算能力的峰值。理论上看,当芯片设计完,算力就已经固定,不会根据应用场景发生变化。

  对于雪湖科技团队而言,他们更看重芯片的资源利用率。对于一颗FPGA而言,在核心计算单元运行算法时,如果从启动一直到运算结束的每个使用周期都在不停的工作即芯片的理论值,相当于100%的工作状态,也就是说把该芯片所有的功力都发挥出来了。

  “我们能将这个理论率提升到98%,换句话说,100个计算周期里只有两个周期在休息。”张强说道, “这颠覆了芯片行业里的一个标志性参数。除了雪湖科技,没有任何一家公司可以做到。”王韵形象地将描述为“完美地榨干芯片性能。”

  长久以来,开发难度大、开发周期长,开发者稀缺、培养周期长是横亘在FPGA发展和应用推广道路上的难题。“FPGA工程师的培养成本很高,要培养一名真正具备独立做FPGA开发的工程师通常需要五年的时间。”张强谈道。

  为此,雪湖科技团队研发了一套私有的开发环境和框架PteroTool,以实现更简洁的芯片工具链条,抽象度更高的应用层。

  

  “这是基于我们十几年的积累,里边包括了大量高效稳定、占用资源很少的库。”张强介绍,基于Ptero系统抽象层,能够将系统抽象出来,类似于芯片操作系统,以实现算法快速移植,可以从一颗芯片快速移植到另一颗FPGA芯片。“这套工具体系很容易上手。按照我们的经验,经过三个月培训,一个刚毕业的大学生就上手成为FPGA算法开发工程师。”

  为了对开发工作进行更加细致地分工,雪湖科技对开发过程进行了系统化地分解。在雪湖科技的技术架构下,工程师不再需要同时掌握FPGA开发、写算法和代码等全链条工作,“每人掌握一个环节,通过多人合作,以实现更高效地开发。”

  私有云、公有云、车载

  三驾马车驱动企业前进

  “我们目前集中私有云、公有云、车载三大块市场。模块市场优先级被调低了,因为目前AI在C端市场仍然缺少应用推动。”张强谈道。

  在云计算中心市场,雪湖科技主要通过私有云GPU替代、FPGA公有云加速两条路径推动。对于图像与语音数据调用频繁的AI公司而言,相较于公有云数据可能面临的安全性问题,搭建一套高性价比的私有云方案正在成为核心诉求。

  

  随着5G落地步伐的加速,张强认为,云上的计算需求和市场会会变得更加庞大。受到4G的传输速率和网络承受力限制,目前很多计算主要在手机端/在端测完成。但是5G来临之后,传输速率提升十倍以上,手机本地的计算能力会弱化,存储会变大;通信能力会变强。

  在雪湖科技团队与OPPO、美图等主流手机厂商交流过程中,比较一致的观点认为,5G时代云端的数据中心计算需求,特别是人工智能运算需求将呈现井喷趋势。相应地,将AI芯片塞到手机的潮流可能弱化。

  此外,正处于窗口期的汽车智能化也是雪湖科技现阶段押下重注的市场。“我们的优势在于技术方案能够更快地落地,以帮助车厂或者自动驾驶团队抢夺时间窗口”,张强认为,相比ASIC的AI芯片公司开发和流片通常需要一到两年时间,快速落地是雪湖科技当下最显著的优势。

  

  此外,一个更为隐形的优势还在于,FPGA具备现成的车规级芯片可供选择,而无需等待遥遥无期的AI芯片通过车规级芯片认证。

  目前,雪湖科技团队正在帮助一家自动驾驶公司实现前端的视觉数据识别与分析,以取代昂贵和高功耗的GPU服务器方案。张强表示,该自动驾驶公司近期再次提速研发节奏,“年初方案一旦能够落地,将成为开创性的自动驾驶解决方案。”

  资料来自机器之能官微,四月撰文,有删减

  

  

特别声明:本文为网易自媒体平台“网易号”作者上传并发布,仅代表该作者观点。网易仅提供信息发布平台。

跟贴 跟贴 1 参与 1
© 1997-2019 网易公司版权所有 About NetEase | 公司简介 | 联系方法 | 招聘信息 | 客户服务 | 隐私政策 | 广告服务 | 网站地图 | 意见反馈 | 不良信息举报

上海浦东软件园

这里是浦软,高科技企业高地!

头像

上海浦东软件园

这里是浦软,高科技企业高地!

1104

篇文章

85

人关注

列表加载中...
请登录后再关注
x

用户登录

网易通行证/邮箱用户可以直接登录:
忘记密码