自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

数据之路

专注数据架构 外功修行,内功修神

原创 开源分布式工作流任务调度系统EasyScheduler使用详解

开源分布式工作流任务调度系统EasyScheduler使用详解 登录 输入http://192.168.xx.xx:8888/view/login/index.html 网址,输入用户名:admin,密码:escheduler123 登录 登录之后每个页面的右上角都有用户的身份...

2019-06-13 17:37:01

阅读数 1818

评论数 0

原创 大数据分析的下一代架构--IOTA架构设计实践[下]

IOTA架构提出背景 大数据3.0时代以前,Lambda数据架构成为大数据公司必备的架构,它解决了大数据离线处理和实时数据处理的需求。典型的Lambda架构如下: Lambda架构的核心思想是: 数据从底层的数据源开始,经过各样的格式进入大数据平台,然后分成两条线进行计算。一条线是进入流式计算平...

2018-12-31 20:59:53

阅读数 2057

评论数 0

原创 承载每天10万级任务的数据调度系统的架构是如何设计的

EasyScheduler大数据调度系统架构分享 导语 EasyScheduler是易观平台自主研发的大数据分布式调度系统。主要解决数据研发ETL 错综复杂的依赖关系,而不能直观监控任务健康状态等问题。EasyScheduler以DAG流式的方式将Task组装起来,可实时监控任务的运行状态,同时支...

2018-12-13 20:01:57

阅读数 30563

评论数 15

原创 Apache DolphinScheduler的官网正式上线了

DolphinScheduler的官网正式上线了: https://dolphinscheduler.apache.org , 后续的文档都将直接维护在官网上哈! 特此告知,欢迎关注!

2019-10-14 17:17:01

阅读数 300

评论数 0

原创 全票通过!易观开源项目DolphinScheduler进入Apache孵化器

全票通过!易观开源项目DolphinScheduler进入Apache孵化器 美国时间2019年8月29日,易观开源的分布式任务调度引擎DolphinScheduler(原EasyScheduler)正式通过顶级开源组织Apache基金会的投票决议,以全票通过的优秀表现正式成为Apache孵...

2019-09-17 07:26:30

阅读数 979

评论数 2

原创 第三届易观算法大赛 -- OLAP Session分析(5万奖金)

OLAP Session分析 赛题背景 Session,即会话,是指在指定的时间段内在您的网站/H5/小程序/APP上发生的一系列用户行为的集合。例如,一次会话可以包含多个页面浏览、交互事件等。Session 是具备时间属...

2019-09-11 19:35:47

阅读数 53

评论数 0

原创 数据增长之线索培育升级

B2B增长之线索培育升级 数据驱动增长讲的大部分都是如何通过渠道质量优化与转化率优化最大能力去挖掘商机,然而增长不仅有拉新,因为增长负责人要关注的是整体业务增长,比如销售漏斗与客户数,资金流和团队效能等,就数字营销领域来说,增长除了拉新之外,还有很重要的一个指标就是促活,当有一定数量的用户的时候,...

2019-09-04 14:04:32

阅读数 78

评论数 0

原创 Easy Scheduler 1.1.0 Release发布,分布式工作流任务调度系统

Easy Scheduler Release 1.1.0 Easy Scheduler 1.1.0是1.1.x系列中的第一个版本。 新特性: [EasyScheduler-391] run a process under a specified tenement user [EasySchedu...

2019-08-08 08:06:15

阅读数 152

评论数 0

原创 现在Easy Scheduler想贡献给Apache基金会,我们做了一份问卷看下大家的想法,也请大家积极参与,谢谢!

感谢各位伙伴们长期以来的持续关注和贡献,现在Easy Scheduler想贡献给Apache基金会,我们做了一份问卷看下大家的想法,也请大家积极参与,谢谢! https://wj.qq.com/s2/4190958/5588/ 也欢迎大家直接去https://github.com/analysys...

2019-08-02 17:41:16

阅读数 182

评论数 0

原创 分布式工作流任务调度系统 Easy Scheduler 1.1.0 预览版发布

Easy Scheduler Release 1.1.0-Preview Easy Scheduler 1.1.0-Preview是1.x系列中的第六个版本。 新特性: [EasyScheduler-391] run a process under a specified tenement us...

2019-07-16 17:35:44

阅读数 127

评论数 0

原创 分布式任务调度EasyScheduler贡献代码流程

首先从远端仓库https://github.com/analysys/EasyScheduler.git fork一份代码到自己的仓库中 远端仓库中目前有三个分支: master 正常交付分支 发布稳定版本以后,将稳定版本分支的代码合并到master上。 dev 日常开发分支 日...

2019-07-05 11:20:26

阅读数 138

评论数 0

原创 开源分布式工作流任务调度系统EasyScheduler自定义任务插件开发

任务插件开发 提醒:目前任务插件开发暂不支持热部署 基于SHELL的任务 基于YARN的计算(参见MapReduceTask) 需要在 cn.escheduler.server.worker.task 下的 TaskManager 类中创建自定义任务(也需在TaskType注册对应的任务类型) ...

2019-06-13 17:43:05

阅读数 409

评论数 0

转载 数据分析方法论之常用分析思路

对于一款App来讲,市场渠道人员比较关注渠道的获客质量,经常会用到渠道分析;运营人员比较关注用户在产品内的行为信息,通常会用到用户分群,进行针对性运营;产品人员则关注产品功能的使用情况以及核心流程的转化情况。那么如何实现所有业务人员的数据需求。 我们以有帐号体系产品的注册为核心流程为例,一般产品的...

2019-06-01 23:03:44

阅读数 338

评论数 1

原创 Easy Scheduler 1.0.3 发布,分布式工作流任务调度系统

Easy Scheduler Release 1.0.3 Easy Scheduler 1.0.3是1.x系列中的第四个版本。 新特性: [EasyScheduler-254] 流程定义删除和批量删除 [EasyScheduler-347] 任务依赖增加“今日” [EasyScheduler-2...

2019-05-28 08:26:44

阅读数 540

评论数 1

转载 大数据分析常用去重算法分析『HyperLogLog 篇』

大数据分析常用去重算法分析『HyperLogLog 篇』 在上篇推送中,Kyligence 大数据工程师陶加涛为大家介绍了利用 Roaring Bitmap 来进行精确去重。虽然这种算法能大大地减少存储开销,但是随着数据量的增大,它依然面临着存储上的压力。在本篇推送中将要介绍的 HyperLogL...

2019-05-09 11:35:44

阅读数 436

评论数 0

原创 开源分布式工作流任务调度系统Easy Scheduler Release 1.0.2发布

Easy Scheduler Release 1.0.2 Easy Scheduler 1.0.2是1.x系列中的第三个版本。此版本增加了调度开放接口、worker分组(指定任务运行的机器组)、任务流程及服务监控以及对oracle、clickhouse等支持,具体如下: 新特性: [EasySc...

2019-04-26 20:08:20

阅读数 367

评论数 0

原创 持续改进中——Easy Scheduler 1.0.1版本来了

持续改进中——Easy Scheduler 1.0.1版本来了 背景 在多位技术小伙伴的努力下,经过近2年的研发迭代、内部业务剥离及重构,也经历一批种子用户试用一段时间后,EasyScheduler终于迎来了第一个正式开源迭代发布版本 – 1.0.1,免编译版本下载地址 – 1.0.1 相信做过...

2019-04-17 10:54:37

阅读数 929

评论数 1

原创 分布式工作流任务调度系统Easy Scheduler正式开源

Easy Scheduler 大数据工作流调度系统已经开源,欢迎下载交流 https://github.com/analysys/EasyScheduler Easy Scheduler for Big Data 设计特点: 一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据...

2019-03-29 23:56:37

阅读数 1503

评论数 0

原创 git使用.gitignore忽略提交文件并没有生效问题解决

idea集成git过滤一些不必要提交到git上的文件以及文件夹的时候发现使用.ignore插件创建.gitignore来忽略提交文件并没有生效,每次commit还是带了一堆不必提交的文件,最后找到了处理办法: .gitignore只能忽略那些原来没有被track的文件,如果某些文件已经被纳入了版...

2019-03-28 18:02:06

阅读数 551

评论数 0

原创 Excel表格转换为MarkDown表格工具

功能十分强大:https://tableconvert.com/ 还可以下载下来,真是很棒!

2019-03-18 22:49:49

阅读数 324

评论数 2

提示
确定要删除当前文章?
取消 删除