网易首页 > 网易号 > 正文 申请入驻

大数据技术学习:弹性分布式数据集RDD

0
分享至

今天给大家分享的技术学习是:浅谈弹性分布式数据集RDD。

一、RDD定义

RDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark中基本的数据抽象,它代表一个不可变(数据和元数据)、可分区、里面的元素可并行计算的集合。其特点在于自动容错,位置感知性调度和可伸缩性。

二、RDD的属性

1、一组分片。即数据集的基本组成单位。对于RDD来说,每个分片都会被一个计算任务处理,并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数,如果没有指定,那么就会采用默认值。默认值就是程序所分配到的CPU Core的数目。

2、一个计算每个分区的函数。Spark中RDD的计算是以分片为单位的,每个RDD都会实现compute函数以达到这个目的。compute函数会对迭代器进行复合,不需要保存每次计算的结果。

3、RDD之间的依赖关系。RDD的每次转换都会生成一个新的RDD,所以RDD之间就会形成类似于流水线一样的前后依赖关系。这里要提及一个概念——容错处理:,即在部分分区数据丢失时,Spark可以通过这个依赖关系重新计算丢失的分区数据,而不是对RDD的所有分区进行重新计算。

4、一个Partitioner,分区器。即RDD的分片函数。当前Spark中实现了两种类型的分片函数,一个是基于哈希的HashPartitioner,另外一个是基于范围的RangePartitioner。只有对于key-value的RDD,才会有Partitioner,非key-value的RDD的Parititioner的值是None。Partitioner函数不但决定了RDD本身的分片数量,也决定了parent RDD Shuffle输出时的分片数量。

5、一个列表。存储存取每个Partition的优先位置(preferred location)。

对于一个HDFS文件来说,这个列表保存的就是每个Partition所在的块的位置。按照“移动数据不如移动计算”的理念,Spark在进行任务调度的时候,会尽可能地将计算任务分配到其所要处理数据块的存储位置。

三、RDD类型

1、Transformation -> 记录计算过程(记录参数,计算方法)

2、Action -> 触发生成job(一个job对应一个action算子)

以上就是对RDD的简单总结,更多精彩技术分享,欢迎持续关注~

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
消失5年,死而复生!国产新能源“鼻祖”,想站着赚钱

消失5年,死而复生!国产新能源“鼻祖”,想站着赚钱

金错刀
2024-03-28 01:39:28
广东本周末雷雨增多,局地有大风冰雹!气象部门称不会很冷

广东本周末雷雨增多,局地有大风冰雹!气象部门称不会很冷

南方都市报
2024-03-28 13:33:17
似乎吴千语以“施伯雄太太”的身份在综艺里大火了一把

似乎吴千语以“施伯雄太太”的身份在综艺里大火了一把

娱乐圈酸柠檬
2024-03-28 22:49:31
“这真供不起!”甘肃妈妈晒出大学4年花费明细,引底层家长共鸣

“这真供不起!”甘肃妈妈晒出大学4年花费明细,引底层家长共鸣

红丽说教育
2024-03-27 15:50:22
张艺兴秘密训练了三年的女团首次露面,被网友评论笑疯了

张艺兴秘密训练了三年的女团首次露面,被网友评论笑疯了

语音守护人
2024-03-28 01:31:05
俄“锆石”高超音速导弹被乌军击落?俄罗斯未予回应

俄“锆石”高超音速导弹被乌军击落?俄罗斯未予回应

环球网资讯
2024-03-28 07:04:09
1979年,戴安娜在幼儿园工作的合影照,不曾想到多年后她成了王妃

1979年,戴安娜在幼儿园工作的合影照,不曾想到多年后她成了王妃

静静时光
2024-03-28 20:24:12
广东神秘“短命村”:村民多数活不过40岁,专家一语道破真相!

广东神秘“短命村”:村民多数活不过40岁,专家一语道破真相!

财宝
2024-03-28 09:38:32
为何横扫日本?平野盘外招,谁注意孙颖莎反应,邱指替换马琳关键

为何横扫日本?平野盘外招,谁注意孙颖莎反应,邱指替换马琳关键

东球弟
2024-03-28 14:47:49
柳叶刀最新:全球生育率持续下降,逼近临界值!25年后,近50%国家的自然增长率为负,中国人口将持续减少

柳叶刀最新:全球生育率持续下降,逼近临界值!25年后,近50%国家的自然增长率为负,中国人口将持续减少

梅斯医学
2024-03-28 07:38:44
民进党出来表态了,民进党作出重大的妥协!

民进党出来表态了,民进党作出重大的妥协!

杂谈天下式
2024-03-28 15:32:03
【金敬迈】开除刘少奇党籍,不可怕;但全党都同意,这才可怕!

【金敬迈】开除刘少奇党籍,不可怕;但全党都同意,这才可怕!

年之父
2024-03-15 06:10:03
四名暴徒全部招供,普京点名幕后黑手,接下来就是复仇了

四名暴徒全部招供,普京点名幕后黑手,接下来就是复仇了

冒泡泡的鱼儿
2024-03-28 12:35:27
首次!日本确认中国WZ-7现身日本海,印媒惊呼:过于先进难以应对

首次!日本确认中国WZ-7现身日本海,印媒惊呼:过于先进难以应对

沐风论道
2024-03-28 23:17:12
中共中央批准:王庭凯任天津市纪委书记,衡晓帆任市委常委

中共中央批准:王庭凯任天津市纪委书记,衡晓帆任市委常委

北青网-北京青年报
2024-03-28 18:58:03
4年4000万,加盟火箭!休城因祸得福,他的未来上限不弱于格林

4年4000万,加盟火箭!休城因祸得福,他的未来上限不弱于格林

呆哥聊球
2024-03-28 16:22:20
随着掘金负太阳、火箭胜雷霆、快船1分险胜,看西部最新排名

随着掘金负太阳、火箭胜雷霆、快船1分险胜,看西部最新排名

刺头体育
2024-03-28 18:27:53
看到了小米SU7真车,突然感觉30万真的不贵

看到了小米SU7真车,突然感觉30万真的不贵

户外小阿隋
2024-03-27 21:33:00
内娱这次翻车,丢脸丢到国外了

内娱这次翻车,丢脸丢到国外了

独立鱼
2024-03-27 23:51:27
73岁大爷娶50岁娇妻,2个睾丸却被切了,大爷:还能过性生活吗

73岁大爷娶50岁娇妻,2个睾丸却被切了,大爷:还能过性生活吗

胖胖侃咖
2024-03-28 08:00:05
2024-03-29 07:42:44
杭州千锋
杭州千锋
IT行业技术交流
1329文章数 75关注度
往期回顾 全部

科技要闻

雷军:我们是卷王,建议BBA车主感受下时代

头条要闻

小米汽车7分钟大定破2万 网友:这价格真可以杀穿同行

头条要闻

小米汽车7分钟大定破2万 网友:这价格真可以杀穿同行

体育要闻

拒绝为国出战,他是足坛"天选打工人"

娱乐要闻

莱昂纳多与25岁新女友互相投喂超恩爱

财经要闻

中国版QE要来?国内外机构观点罕见一致

汽车要闻

混动增程双模式 长安UNI-Z售11.79万起

态度原创

数码
教育
手机
健康
公开课

数码要闻

苹果势将在5月份发布新款iPad

教育要闻

留学文凭贬值,出国留学值不值得?在俄罗斯工作16年小伙直说想法

手机要闻

安兔兔CPU跑分38万!骁龙8s Gen3又要干翻全场?

早防早筛,远离肝硬化

公开课

30岁之前,你要学会的13件事情

无障碍浏览 进入关怀版