网易首页 > 网易号 > 正文 申请入驻

千呼万唤始出来!PyTorch Lightning 1.0版发布,终于可以抛弃Keras

0
分享至

  

  新智元报道

  编辑:QJP

  【新智元导读】在过去的几个月里,PyTorch Lightning的团队一直在微调 API、改进文档、录制教程,现在终于向大家分享 PyTorch Lightning 的 V1.0.0版本。

  现阶段人工智能的发展速度远远超过任何单一框架所能跟上的速度,深度学习的领域更是在不断发展的,主要体现在在复杂性和规模上。

  类似于Keras,Pytorch Lightning 提供了抽象出所有工程细节,从而方便的使用复杂模型进行交互的一种用户体验。

  PyTorch Lightning:Pytorch版的Keras

  像 PyTorch 这样的框架是为人工智能研究主要关注网络架构的时代而设计的,例如nn.Module可以定义操作顺序的模块。

  
图:VGG 16

  这些框架在为研究或者生产提供极其复杂的模型所需的所有部件方面做出了巨大的工作,但是一旦模型开始相互作用,比如 GAN,BERT,或者一个Autoencoder,这种模式就会打破。

  复杂的模型会失去灵活性,导致在项目规模上很难维护。

  与之前出现的框架不同,PyTorch Lightning 被设计成封装一系列相互作用的模型,即深度学习系统。

  Lightning 是为当今世界更复杂的研究和生产案例而设计的,在这些案例中,许多模型使用复杂的规则相互作用。

  
图:antuencoder自动编码系统

  PyTorch Lightning 的第二个关键原则是硬件和科学代码必须分开。Lightning 可以利用大规模的计算,而不需要向用户显示任何抽象概念。

  通过这种分离,Lightning 获得了以前不可能的新功能,比如在笔记本电脑上使用CPU调试你的512 GPU 而不需要更改代码。

  
最后,Lightning 创建的愿景是成为一个由社区驱动的框架。

  构建好的深度学习模型需要大量的专业知识和使系统工作的Tricks。在世界各地,大量的工程师和博士们一遍又一遍地实现着相同的代码。

  Lightning现在有一个不断增长的贡献者社区,其中有超过300个最有才华的深度学习人员,他们选择分配相同的能量,做完全相同的优化,但是却有成千上万的人从他们的努力中受益。

  

  Pytorch Lightning 1.0.0新功能抢先看

  Lightning 1.0.0标志着一个稳定的最终 API。这意味着开发者依赖于 Lightning 的项目可以放心地知道他们的代码在未来不会中断或改变。

  研究与生产

  Lightning的核心力量是使最先进的人工智能研究能够大规模发生。这是一个为专业研究人员设计的框架,在最大的计算资源上尝试最难的想法,而不会失去任何灵活性。

  Lightning 1.0.0现在也可以轻松地在规模上部署这些模型,所有的 Lightning 代码确保所有的东西都可以轻松导出到 onnx 和 torchscript。

  

  因此,这意味着数据科学家、研究人员等团队现在可以成为将模型投入生产的人,而不需要庞大的机器学习工程师团队。

  这也是一些领先的公司使用 Lightning 的一个主要原因: 可以作为一种帮助他们大大缩短生产时间而不失去任何研究所需的灵活性的方法。

  衡量指标

  pytorch_lightning.metrics是一个Metrics API,是为了便于度量开发和在 PyTorch 和 PyTorch Lightning 中使用而创建的。

  更新后的 API 提供了一种内置方法,可以跨多个 GPU (进程)计算每个步骤的度量,同时存储统计信息,允许在一个epoch结束时计算指标,而不必担心与分布式后端相关的任何复杂性。

  它还对所有的边缘情况都进行了严格的测试,并且包含了越来越多的常用指标的实现,比如 Accuracy、 Precision、 Recall、 Fbeta、 MeanSquaredError 等等。

  
要实现自定义衡量指标,只需子类化基本度量类并实现 _ init _ ()、 update ()和 compute ()方法,所需要做的就是正确调用 add _ state () ,以便使用 DDP 实现自定义度量。对使用 add _ state ()添加的度量状态变量调用 reset ()。

  手动优化和自动优化

  使用 Lightning,你不需要担心什么时候启用/禁用梯度,做反向传播,或者更新优化器,只要你从training_step返回一个附加图表,Lightning 将自动优化。

  

  然而,对于某些研究,比如GANs、强化学习或者有多个优化器或者内部循环的东西,你可以关闭自动优化,自己完全控制训练循环。

  首先,关闭自动优化:

  

  这样,循环就可以自行控制了。

  Logging

  Lightning 使得与记录器的集成变得非常简单:只需在 LightningModule 的任何地方调用 log ()方法,它就会将记录的数量发送到您选择的logger。默认情况下我们使用 Tensorboard,但是您可以选择任何您希望支持的logger。

  根据调用 log ()的情况不同 ,Lightning 会自动确定何时应该进行日志记录(在每个step或每个epoch上) ,但是当然也可以通过手动使用 on _ step 和 on _ epoch 选项来覆盖默认行为。设置on _epoch = True 将在整个训练期内累积日志的值。

  数据流

  每个循环(训练、验证、测试)都有三个可以实现的hook:「x_step」,「x_step_end」,「x_epoch_end」

  为了说明数据是如何流动的,我们将使用训练循环(即: x = training)

  

  你在training_step中返回的任何东西都可以作为训练training_epoch_end的输入。

  

  https://github.com/PyTorchLightning/pytorch-lightning/releases

  

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐

印度真正的敌人出现,10万大军不敢放一枪,张召忠:动手就灭亡

诸葛小彻
2020-12-04 11:16:59

外卖毁了方便面?暴跌50亿,泡面行业还有未来吗?

IC实验室
2020-12-05 00:29:53

全国政协副主席、中国科协主席韩启德的颠覆性报告值得我们思考

王帥娱乐厅
2020-12-04 10:06:15

德国记者:我们的教科书说美英士兵是带着儿童巧克力进入的德国

彼得堡的肥天鹅
2020-12-04 19:02:45

储户注意了!超过“这个数”一律被严查,3个试点已经启动调查!

商媒体
2020-12-04 17:43:22

新车买来没多久,行驶中一声巨响,车裂了?

车道亦有道
2020-12-05 09:01:45

特朗普刚刚发推!威胁称若不终止230条款 将否决《国防授权法案》

和讯网
2020-12-04 15:00:26

英国32岁辣妈与男孩发生关系被捕,得知对方只有14岁后痛哭流涕

译眼看世界
2020-12-04 12:23:32

特朗普这是要孤注一掷?风声传出后,中国终于启动王牌,立即施行

前沿时刻
2020-12-05 10:08:27

与中国武汉无关,世卫组织公布新冠病毒源头,索赔大军一片沉默

日月军武V
2020-12-05 14:15:52

岁月不饶人,也没饶过香港,香港真的衰落了吗?

厉羽萱
2020-12-04 21:58:46

华晨集团破产重整半个月后,原董事长祁玉民落马

新京报政事儿
2020-12-04 18:58:53

典型的“闷声发大财”,11月销量破2万,实力不输CRV,仅售7.88万

隔壁说车老王
2020-12-05 08:13:49

新加坡发放4张数字银行牌照:蚂蚁集团、腾讯均有斩获,服务范围却各有不同

界面新闻
2020-12-04 20:34:18

她从名字到血统全是造假,被金星“撕”后淡出圈,回归后人气不在

侃大叔通史
2020-12-03 07:05:02

2010年,被周迅抛弃的前男友从14楼跳下,没想到却曝光与巩俐关系

初尧录
2020-12-05 06:40:02

发生关系的“第一晚”女人会想些什么?三位女士说了实话

生活对你下手了
2020-12-04 21:58:27

清华大学1张偷拍照流出:纵欲成瘾的年轻人,早就快“不行了”

民生热点
2020-12-03 22:33:27

世界罕见的“蓝种人”:为避非议隐居6千米山上,百年仅露一次面

历史惟鉴J
2020-12-02 23:21:27

《黄继光》等爱国教材被移除,却增加西方虚构故事,专家:过时了

浅夏森屿
2020-12-04 07:41:46
2020-12-05 16:00:59
新智元
新智元
AI产业主平台领航智能+时代
6105文章数 40410粉丝数
往期回顾 全部

科技要闻

NASA月球探测器拍摄到嫦娥五号 照片可见轮廓

头条要闻

孟晚舟"认罪"就能回国?媒体:"美国陷阱"再次上演

头条要闻

孟晚舟"认罪"就能回国?媒体:"美国陷阱"再次上演

体育要闻

恒大官方:郑智出任俱乐部总经理 高寒不再任总经理

娱乐要闻

紫霞仙子变女王 朱茵风情万种韵味足

财经要闻

汽车要闻

小鹏第二代飞行汽车曝光:将明年Q4开放试飞

态度原创

房产
健康
教育
游戏
手机

房产要闻

覆盖海陆空!"十四五"海南交通将谋划这些大项目

打玻尿酸变“僵尸脸”咋回事?

教育要闻

基层学校音体美教师缺口现象观察

奇幻动作游戏《Gods Will Fall》预告片公布

手机要闻

索尼PS5体验: 我与次时代主机的距离 就差个黄牛