开源分布式工作流任务调度系统 - Easy Scheduler

专注数据架构 外功修行,内功修神

Easy Scheduler 1.0.3 发布,分布式工作流任务调度系统

Easy Scheduler Release 1.0.3 Easy Scheduler 1.0.3是1.x系列中的第四个版本。 新特性: [EasyScheduler-254] 流程定义删除和批量删除 [EasyScheduler-347] 任务依赖增加“今日” [EasyScheduler-2...

2019-05-28 08:26:44

阅读数 442

评论数 0

大数据分析的下一代架构--IOTA架构设计实践[下]

IOTA架构提出背景 大数据3.0时代以前,Lambda数据架构成为大数据公司必备的架构,它解决了大数据离线处理和实时数据处理的需求。典型的Lambda架构如下: Lambda架构的核心思想是: 数据从底层的数据源开始,经过各样的格式进入大数据平台,然后分成两条线进行计算。一条线是进入流式计算平...

2018-12-31 20:59:53

阅读数 1726

评论数 0

承载每天10万级任务的数据调度系统的架构是如何设计的

EasyScheduler大数据调度系统架构分享 导语 EasyScheduler是易观平台自主研发的大数据分布式调度系统。主要解决数据研发ETL 错综复杂的依赖关系,而不能直观监控任务健康状态等问题。EasyScheduler以DAG流式的方式将Task组装起来,可实时监控任务的运行状态,同时支...

2018-12-13 20:01:57

阅读数 28586

评论数 12

开源分布式工作流任务调度系统Easy Scheduler Release 1.0.2发布

Easy Scheduler Release 1.0.2 Easy Scheduler 1.0.2是1.x系列中的第三个版本。此版本增加了调度开放接口、worker分组(指定任务运行的机器组)、任务流程及服务监控以及对oracle、clickhouse等支持,具体如下: 新特性: [EasySc...

2019-04-26 20:08:20

阅读数 290

评论数 0

持续改进中——Easy Scheduler 1.0.1版本来了

持续改进中——Easy Scheduler 1.0.1版本来了 背景 在多位技术小伙伴的努力下,经过近2年的研发迭代、内部业务剥离及重构,也经历一批种子用户试用一段时间后,EasyScheduler终于迎来了第一个正式开源迭代发布版本 – 1.0.1,免编译版本下载地址 – 1.0.1 相信做过...

2019-04-17 10:54:37

阅读数 628

评论数 1

分布式工作流任务调度系统Easy Scheduler正式开源

Easy Scheduler 大数据工作流调度系统已经开源,欢迎下载交流 https://github.com/analysys/EasyScheduler Easy Scheduler for Big Data 设计特点: 一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据...

2019-03-29 23:56:37

阅读数 806

评论数 0

易观推出免费版本方舟Argo,同时开源SDK及调度

易观推出了免费版本方舟Argo,Argo是国内唯一的一款免费的可以私有化部署的用户行为分析平台,可以私有化对接自己的各种内部系统,它的商业版本已经在招商银行、当当、首汽等客户大面积使用了。 别人都是免费版到商业版,我们是先做商业版在做靠谱的免费版,初心真的是想把数据能力平民化,同时配合数据采集SD...

2019-03-01 23:02:37

阅读数 807

评论数 0

大数据调度--有向无环图(DAG)之拓扑排序

拓扑排序(Topological Sorting) 维基百科上拓扑排序的定义为: 对于任何有向无环图(DAG)而言,其拓扑排序为其所有结点的一个线性排序(同一个有向图可能存在多个这样的结点排序)。该排序满足这样的条件——对于图中的任意两个结点U和V,若存在一条有向边从U指向V,则在拓扑排序中U一定...

2019-01-20 22:47:02

阅读数 469

评论数 1

大数据分析的下一代架构--IOTA架构[上]

IOTA是什么?你是否为下一代大数据架构做好准备?   经过这么多年的发展,已经从大数据1.0的BI/Datawarehouse时代,经过大数据2.0的Web/APP过渡,进入到了IOT的大数据3.0时代,而随之而来的是数据架构的变化。 ▌Lambda架构 在过去Lambda数据架构成为每...

2018-04-22 07:37:51

阅读数 4346

评论数 0

数据库拆分的几种方式

数据库做拆分的几种方式:1.按功能划分(垂直切分)将不同功能相关的表放到不同的数据库中,这样做的好处是非常直观。但当某一部分的功能其数据量或性能要求超出了可控的范围,就需要继续对其进行深入的再切分。2.按表中某一字段值的范围划分(水平切分)当伴随着某一个表的数据量越来越大,以至于不能承受的时候,就...

2016-05-04 00:22:39

阅读数 4631

评论数 0

架构设计文档提纲简描

提纲很简单的: 一、概述 二、目的 三、项目背景 四、系统建设目标 五、参考资料 六、架构设计 6.1 架构分析 6.2 设计思想 6.3 架构体系 6.4 系统视图 6.5 模块划分 6.5.1 模块描述 6.5.2 模块接口

2016-04-24 01:10:36

阅读数 2033

评论数 0

各大互联网公司架构演进之路汇总

各大互联网公司架构演进之路汇总大型网站架构演化历程大型网站架构技术一览Web支付宝和蚂蚁花呗的技术架构及实践支付宝的高可用与容灾架构演进聚划算架构演进和系统优化 (视频+PPT)淘宝交易系统演进之路 (专访)淘宝数据魔方技术架构解析淘宝技术发展历程和架构经验分享(视频+PPT)(2.3日更新)高德...

2016-04-24 00:55:12

阅读数 2160

评论数 0

千万级规模高性能、高并发的网络架构经验分享

千万级规模高性能、高并发的网络架构经验分享 主 题 :INTO100沙龙 时间 :2015年11月21日下午 地点 :梦想加联合办公空间 分享人:卫向军(毕业于北京邮电大学,现任微博平台架构师,先后在微软、金山云、新浪微博从事技术研发工作,专注于系统架构设计、音视频通讯系统...

2015-12-21 23:02:59

阅读数 1791

评论数 1

网站防刷方案

目录[-] 网站防刷方案网站重复请求解决方案Mr. Neo Chen (netkiller), 陈景峰(BG7NYT)1. 访问网站所涉及环节2. 浏览器款控制方案3. CDN 与 反向代理4. 网络设备控制方法5. 服务器上做控制5.1. 操作系统部分提示5.2. WEB 服务器部分6. 通过...

2015-08-19 22:15:05

阅读数 1170

评论数 0

Tumblr:150亿月浏览量背后的架构挑战

Tumblr:150亿月浏览量背后的架构挑战 2013/04/08 · IT技术, 开发 · 9.9K 阅读 · HBase, Tumblr, 架构 英文原文:High Scalability,编译:CSDN 导读:和许多新兴的网站一样,著名的轻博客服务Tumbl...

2015-08-05 11:47:30

阅读数 1101

评论数 0

架构中常见的开源模块

分布式协同: Zookeeper 负载均衡: LVS(Layer 4), HAProxy(Layer 4、 7), Nginx(Layer 7) 虚拟化: LXC、KVM、Xen HA:Keepalived、Heartbeat 分布式缓存: Memcache, Redis...

2015-06-11 22:50:30

阅读数 1382

评论数 0

如何给系统升级

系统的升级涉及各个架构组件,细节很多。长时间野蛮成长使老系统积累了很多问题。 系统升级则意味着需要repair之前埋下的雷,那为何还要升级,可以考虑以下几个方面 成熟老系统常见问题: 1. 缺乏文档 这应该是大小公司都存在的问题。文档会极大降低开发效率,并且互联网项目的特点是易变和追求速度,...

2015-06-07 00:10:27

阅读数 732

评论数 0

架构设计要点

1.尽可能地了解需求,系统层面适用开闭原则 2.低耦合,避免一个子系统的问题波及整个大系统 3.面向接口,业务数据的共享以接口服务方式开放出来,并尽量简单,避免依赖 4.技术选型,选择能把握的成熟技术,前期充分测试,避免性能问题,多参考同类产品的架构 5.数据库设计,关键点改动说明 6.文档的重要...

2014-12-29 22:39:57

阅读数 1107

评论数 0

提示
确定要删除当前文章?
取消 删除