10 spark around me

1.Spark有几种类型的算子?每种类型分别列举2个。

2.简单介绍是否能处理超过内存大小的数据量,为何?

3.Spark是否能处理超过内存大小的数据量,为何?

4.Spark Stream获取kafka数据有几种方式,你在实际开发中使用的是哪种以及选择的原因。

5.Spark Streaming如何将结果存入Mysql或者HBase中。

请先 登录 后评论

1 个回答

苏暖辉 - 软件工程

从小方向来说,Spark 算子大致可以分为以下三类:

  1)Value数据类型的Transformation算子,这种变换并不触发提交作业,针对处理的数据项是Value型的数据。
  2)Key-Value数据类型的Transfromation算子,这种变换并不触发提交作业,针对处理的数据项是Key-Value型的数据对

     3)Action算子,这类算子会触发SparkContext提交Job作业

请先 登录 后评论
  • 1 关注
  • 0 收藏,62 浏览
  • 李文凯 提出于 2018-04-27 17:42

相似问题