--------【大数据调度架构】
-
转载
从开源使用者到Apache PPMC之路
近日, 观远数据联合创始人&首席架构师吴宝琪, 作为Apache DolphinScheduler 的PPMC（项目管理委员会）成员参加了Apache DolphinScheduler 的首届用户大会, 并在大会上做了《从开源使用者到Apache PPMC之路》的分享。 Apache软件基金会创建于1999年，是专门为支持开源软件项目而创办的一个非营利性组织，也是世界上最...2019-11-24 19:54:22 阅读数 34 评论数 0 -
原创
Easy Scheduler 1.1.0 Release发布，分布式工作流任务调度系统
Easy Scheduler Release 1.1.0 Easy Scheduler 1.1.0是1.1.x系列中的第一个版本。 新特性： [EasyScheduler-391] run a process under a specified tenement user [EasyScheduler-288] Feature/qiye_weixin [EasyScheduler-189] Ke...2019-08-08 08:06:15 阅读数 178 评论数 0 -
原创
现在Easy Scheduler想贡献给Apache基金会，我们做了一份问卷看下大家的想法，也请大家积极参与，谢谢！
感谢各位伙伴们长期以来的持续关注和贡献，现在Easy Scheduler想贡献给Apache基金会，我们做了一份问卷看下大家的想法，也请大家积极参与，谢谢！ https://wj.qq.com/s2/4190958/5588/ 也欢迎大家直接去https://github.com/analysys/EasyScheduler/issues/638 进行投票 ...2019-08-02 17:41:16 阅读数 197 评论数 0 -
原创
分布式工作流任务调度系统 Easy Scheduler 1.1.0 预览版发布
Easy Scheduler Release 1.1.0-Preview Easy Scheduler 1.1.0-Preview是1.x系列中的第六个版本。 新特性： [EasyScheduler-391] run a process under a specified tenement user [EasyScheduler-288] Feature/qiye_weixin [EasySch...2019-07-16 17:35:44 阅读数 148 评论数 0 -
原创
分布式任务调度EasyScheduler贡献代码流程
首先从远端仓库https://github.com/analysys/EasyScheduler.git fork一份代码到自己的仓库中 远端仓库中目前有三个分支： master 正常交付分支 发布稳定版本以后，将稳定版本分支的代码合并到master上。 dev 日常开发分支 日常dev开发分支，新提交的代码都可以pull request到这个分支上。 branch-1....2019-07-05 11:20:26 阅读数 154 评论数 0 -
原创
Easy Scheduler 1.0.3 发布，分布式工作流任务调度系统
Easy Scheduler Release 1.0.3 Easy Scheduler 1.0.3是1.x系列中的第四个版本。 新特性： [EasyScheduler-254] 流程定义删除和批量删除 [EasyScheduler-347] 任务依赖增加“今日” [EasyScheduler-273]sql任务添加title [EasyScheduler-247]API在线文档 [EasySch...2019-05-28 08:26:44 阅读数 552 评论数 1 -
原创
开源分布式工作流任务调度系统Easy Scheduler Release 1.0.2发布
Easy Scheduler Release 1.0.2 Easy Scheduler 1.0.2是1.x系列中的第三个版本。此版本增加了调度开放接口、worker分组(指定任务运行的机器组)、任务流程及服务监控以及对oracle、clickhouse等支持，具体如下： 新特性： [EasyScheduler-79] 调度通过token方式对外开放接口，可以通过api进行操作 [EasySche...2019-04-26 20:08:20 阅读数 389 评论数 0 -
原创
持续改进中——Easy Scheduler 1.0.1版本来了
持续改进中——Easy Scheduler 1.0.1版本来了 背景 在多位技术小伙伴的努力下，经过近2年的研发迭代、内部业务剥离及重构，也经历一批种子用户试用一段时间后，EasyScheduler终于迎来了第一个正式开源迭代发布版本 – 1.0.1，免编译版本下载地址 – 1.0.1 相信做过数据处理的伙伴们对开源的调度系统如oozie、azkaban、airflow应该都不陌生，在使用这些调...2019-04-17 10:54:37 阅读数 971 评论数 1 -
原创
分布式工作流任务调度系统Easy Scheduler正式开源
Easy Scheduler 大数据工作流调度系统已经开源，欢迎下载交流 https://github.com/analysys/EasyScheduler Easy Scheduler for Big Data 设计特点： 一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 其主要目标如下： 以DAG图的方...2019-03-29 23:56:37 阅读数 1570 评论数 0 -
原创
承载每天10万级任务的数据调度系统的架构是如何设计的
EasyScheduler大数据调度系统架构分享 导语 EasyScheduler是易观平台自主研发的大数据分布式调度系统。主要解决数据研发ETL 错综复杂的依赖关系，而不能直观监控任务健康状态等问题。EasyScheduler以DAG流式的方式将Task组装起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。 背景 任务调度系统在大数据平台当中是一个核心的...2018-12-13 20:01:57 阅读数 30699 评论数 15 -
原创
大数据调度--有向无环图(DAG)之拓扑排序
拓扑排序(Topological Sorting) 维基百科上拓扑排序的定义为: 对于任何有向无环图(DAG)而言，其拓扑排序为其所有结点的一个线性排序(同一个有向图可能存在多个这样的结点排序)。该排序满足这样的条件——对于图中的任意两个结点U和V，若存在一条有向边从U指向V，则在拓扑排序中U一定出现在V前面。 通俗来讲：拓扑排序是一个有向无环图(DAG)的所有顶点的线性序列, 该序列必须满足两个...2019-01-20 22:47:02 阅读数 995 评论数 1