开源分布式工作流任务调度系统 - Easy Scheduler

专注数据架构 外功修行,内功修神

排序:
默认
按更新时间
按访问量
RSS订阅

[Spark经验一]Spark RDD计算使用的函数里尽量不要使用全局变量

比如RDD里的计算调用了别的组件类里的方法(比如hbase里的put方法),那么序列化时,会将该方法所属的对象的所有变量都序列化的,可能有些根本没有实现序列化导致直接报错。也就是spark的api没有做到用户无感知,在使用一些全局方法时还需自己控制。简单点,能定义在计算函数内的方法就定义在里面。

2016-03-19 22:33:03

阅读数 6075

评论数 3

提示
确定要删除当前文章?
取消 删除