代立冬的数据之路

专注数据架构 外功修行,内功修神

排序:
默认
按更新时间
按访问量
RSS订阅

承载每天10万级任务的数据调度系统的架构是如何设计的

EasyScheduler大数据调度系统架构分享 导语 EasyScheduler是易观平台自主研发的大数据分布式调度系统。主要解决数据研发ETL 错综复杂的依赖关系,而不能直观监控任务健康状态等问题。EasyScheduler以DAG流式的方式将Task组装起来,可实时监控任务的运行状态,同时支...

2018-12-13 20:01:57

阅读数 28959

评论数 12

分布式工作流任务调度系统Easy Scheduler正式开源

Easy Scheduler 大数据工作流调度系统已经开源,欢迎下载交流 https://github.com/analysys/EasyScheduler Easy Scheduler for Big Data 设计特点: 一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据...

2019-03-29 23:56:37

阅读数 906

评论数 0

持续改进中——Easy Scheduler 1.0.1版本来了

持续改进中——Easy Scheduler 1.0.1版本来了 背景 在多位技术小伙伴的努力下,经过近2年的研发迭代、内部业务剥离及重构,也经历一批种子用户试用一段时间后,EasyScheduler终于迎来了第一个正式开源迭代发布版本 – 1.0.1,免编译版本下载地址 – 1.0.1 相信做过...

2019-04-17 10:54:37

阅读数 666

评论数 1

大数据调度--有向无环图(DAG)之拓扑排序

拓扑排序(Topological Sorting) 维基百科上拓扑排序的定义为: 对于任何有向无环图(DAG)而言,其拓扑排序为其所有结点的一个线性排序(同一个有向图可能存在多个这样的结点排序)。该排序满足这样的条件——对于图中的任意两个结点U和V,若存在一条有向边从U指向V,则在拓扑排序中U一定...

2019-01-20 22:47:02

阅读数 483

评论数 1

Easy Scheduler 1.0.3 发布,分布式工作流任务调度系统

Easy Scheduler Release 1.0.3 Easy Scheduler 1.0.3是1.x系列中的第四个版本。 新特性: [EasyScheduler-254] 流程定义删除和批量删除 [EasyScheduler-347] 任务依赖增加“今日” [EasyScheduler-2...

2019-05-28 08:26:44

阅读数 466

评论数 0

开源分布式工作流任务调度系统Easy Scheduler Release 1.0.2发布

Easy Scheduler Release 1.0.2 Easy Scheduler 1.0.2是1.x系列中的第三个版本。此版本增加了调度开放接口、worker分组(指定任务运行的机器组)、任务流程及服务监控以及对oracle、clickhouse等支持,具体如下: 新特性: [EasySc...

2019-04-26 20:08:20

阅读数 298

评论数 0

分布式任务调度EasyScheduler贡献代码流程

首先从远端仓库https://github.com/analysys/EasyScheduler.git fork一份代码到自己的仓库中 远端仓库中目前有三个分支: master 正常交付分支 发布稳定版本以后,将稳定版本分支的代码合并到master上。 dev 日常开发分支 日...

2019-07-05 11:20:26

阅读数 12

评论数 0

提示
确定要删除当前文章?
取消 删除