自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

-+

上一步保存

数据之路

专注数据架构外功修行,内功修神

我也要用

原创大数据分析的下一代架构--IOTA架构设计实践[下]

IOTA架构提出背景大数据3.0时代以前，Lambda数据架构成为大数据公司必备的架构，它解决了大数据离线处理和实时数据处理的需求。典型的Lambda架构如下： Lambda架构的核心思想是：数据从底层的数据源开始，经过各样的格式进入大数据平台，然后分成两条线进行计算。一条线是进入流式计算平...

2018-12-31 20:59:53

阅读数 2246

评论数 0

原创承载每天10万级任务的数据调度系统的架构是如何设计的

EasyScheduler大数据调度系统架构分享导语 EasyScheduler是易观平台自主研发的大数据分布式调度系统。主要解决数据研发ETL 错综复杂的依赖关系，而不能直观监控任务健康状态等问题。EasyScheduler以DAG流式的方式将Task组装起来，可实时监控任务的运行状态，同时支...

2018-12-13 20:01:57

阅读数 31179

评论数 15

转载 logback日志配置说明

常用配置说明1： <?xml version="1.0" encoding="UTF-8"?> <!-- scan：当此属性设置为true时，配置文件如果发生改变，将会被重新加载，默认值为true。 scanPeriod：设置监测配置文...

2020-02-01 19:33:20

阅读数 52

评论数 0

翻译 Code Review应该关注哪些点？

Code Review应该关注什么？注意:当我们考虑以下点时，应当始终遵循Code Review标准。设计 Code Review中最重要的一个点就是把握住变更中的整体设计。变更中各个部分的代码交互是否正常？整个改动是否属于你负责的代码库？是否和你系统中其他部分交互正常？现在是否是添加整个功能...

2019-12-31 20:48:24

阅读数 27

评论数 0

原创 Error:java: javacTask: source release 8 requires target release 1.8异常处理

Error:java: javacTask: source release 8 requires target release 1.8 编译无问题，运行时报错: 环境： JDK Version: 1.8.0_171 IDE: IntelliJ Idea 2018 IntelliJ SDK Sett...

2019-12-24 16:16:32

阅读数 56

评论数 0

转载 10分钟，快速搞懂RFM用户分析模型

月月针对全量用户上线活动，运营、设计、产品、研发全情投入，好努力却无从追溯效果？预算有限、想策划高ROI方案？在寻求以上问题的解决办法中，RFM用户价值分层模型一定会上榜，因为它是常见的精细化运营方法论。 RFM客户价值模型是一种有着几十年发展和应用的业务分析模型。通过一个客户的近期购买行为...

2019-12-17 22:17:11

阅读数 47

评论数 0

原创 Apache ShardingSphere & DolphinScheduler将举行联合meetup

您是否想加入Apache社区并成为某个项目的Committer或PPMC，拥有一个apache邮箱呢？你是否知道apache社区的Committer也可以是非代码贡献者？本联合meetup旨在让对开源有兴趣的伙伴们有机会加入到社区中来，成为一份子，让自己的青春热血留下永久痕迹，让自己的代码(或...

2019-11-24 22:44:22

阅读数 94

评论数 0

转载从开源使用者到Apache PPMC之路

近日, 观远数据联合创始人&首席架构师吴宝琪, 作为Apache DolphinScheduler 的PPMC（项目管理委员会）成员参加了Apache DolphinScheduler 的首届用户大会, 并在大会上做了《从开源使用者到Apache PPMC之路》的分享。 Ap...

2019-11-24 19:54:22

阅读数 92

评论数 0

原创 Apache DolphinScheduler的官网正式上线了

DolphinScheduler的官网正式上线了: https://dolphinscheduler.apache.org , 后续的文档都将直接维护在官网上哈！特此告知，欢迎关注！

2019-10-14 17:17:01

阅读数 969

评论数 0

原创全票通过！易观开源项目DolphinScheduler进入Apache孵化器

全票通过！易观开源项目DolphinScheduler进入Apache孵化器美国时间2019年8月29日，易观开源的分布式任务调度引擎DolphinScheduler（原EasyScheduler）正式通过顶级开源组织Apache基金会的投票决议，以全票通过的优秀表现正式成为Apache孵...

2019-09-17 07:26:30

阅读数 2259

评论数 2

原创第三届易观算法大赛 -- OLAP Session分析(5万奖金)

OLAP Session分析赛题背景 Session，即会话，是指在指定的时间段内在您的网站/H5/小程序/APP上发生的一系列用户行为的集合。例如，一次会话可以包含多个页面浏览、交互事件等。Session 是具备时间属...

2019-09-11 19:35:47

阅读数 84

评论数 0

原创数据增长之线索培育升级

B2B增长之线索培育升级数据驱动增长讲的大部分都是如何通过渠道质量优化与转化率优化最大能力去挖掘商机，然而增长不仅有拉新，因为增长负责人要关注的是整体业务增长，比如销售漏斗与客户数，资金流和团队效能等，就数字营销领域来说，增长除了拉新之外，还有很重要的一个指标就是促活，当有一定数量的用户的时候，...

2019-09-04 14:04:32

阅读数 102

评论数 0

原创 Easy Scheduler 1.1.0 Release发布，分布式工作流任务调度系统

Easy Scheduler Release 1.1.0 Easy Scheduler 1.1.0是1.1.x系列中的第一个版本。新特性： [EasyScheduler-391] run a process under a specified tenement user [EasySchedu...

2019-08-08 08:06:15

阅读数 391

评论数 0

原创现在Easy Scheduler想贡献给Apache基金会，我们做了一份问卷看下大家的想法，也请大家积极参与，谢谢！

感谢各位伙伴们长期以来的持续关注和贡献，现在Easy Scheduler想贡献给Apache基金会，我们做了一份问卷看下大家的想法，也请大家积极参与，谢谢！ https://wj.qq.com/s2/4190958/5588/ 也欢迎大家直接去https://github.com/analysys...

2019-08-02 17:41:16

阅读数 236

评论数 0

原创分布式工作流任务调度系统 Easy Scheduler 1.1.0 预览版发布

Easy Scheduler Release 1.1.0-Preview Easy Scheduler 1.1.0-Preview是1.x系列中的第六个版本。新特性： [EasyScheduler-391] run a process under a specified tenement us...

2019-07-16 17:35:44

阅读数 190

评论数 0

原创分布式任务调度EasyScheduler贡献代码流程

首先从远端仓库https://github.com/analysys/EasyScheduler.git fork一份代码到自己的仓库中远端仓库中目前有三个分支： master 正常交付分支发布稳定版本以后，将稳定版本分支的代码合并到master上。 dev 日常开发分支日...

2019-07-05 11:20:26

阅读数 230

评论数 0

原创开源分布式工作流任务调度系统EasyScheduler自定义任务插件开发

任务插件开发提醒:目前任务插件开发暂不支持热部署基于SHELL的任务基于YARN的计算（参见MapReduceTask）需要在 cn.escheduler.server.worker.task 下的 TaskManager 类中创建自定义任务(也需在TaskType注册对应的任务类型) ...

2019-06-13 17:43:05

阅读数 460

评论数 0

转载数据分析方法论之常用分析思路

对于一款App来讲，市场渠道人员比较关注渠道的获客质量，经常会用到渠道分析；运营人员比较关注用户在产品内的行为信息，通常会用到用户分群，进行针对性运营；产品人员则关注产品功能的使用情况以及核心流程的转化情况。那么如何实现所有业务人员的数据需求。我们以有帐号体系产品的注册为核心流程为例，一般产品的...

2019-06-01 23:03:44

阅读数 460

评论数 1

原创 Easy Scheduler 1.0.3 发布，分布式工作流任务调度系统

Easy Scheduler Release 1.0.3 Easy Scheduler 1.0.3是1.x系列中的第四个版本。新特性： [EasyScheduler-254] 流程定义删除和批量删除 [EasyScheduler-347] 任务依赖增加“今日” [EasyScheduler-2...

2019-05-28 08:26:44

阅读数 571

评论数 1

转载大数据分析常用去重算法分析『HyperLogLog 篇』

大数据分析常用去重算法分析『HyperLogLog 篇』在上篇推送中，Kyligence 大数据工程师陶加涛为大家介绍了利用 Roaring Bitmap 来进行精确去重。虽然这种算法能大大地减少存储开销，但是随着数据量的增大，它依然面临着存储上的压力。在本篇推送中将要介绍的 HyperLogL...

2019-05-09 11:35:44

阅读数 492

评论数 0

原创开源分布式工作流任务调度系统Easy Scheduler Release 1.0.2发布

Easy Scheduler Release 1.0.2 Easy Scheduler 1.0.2是1.x系列中的第三个版本。此版本增加了调度开放接口、worker分组(指定任务运行的机器组)、任务流程及服务监控以及对oracle、clickhouse等支持，具体如下：新特性： [EasySc...

2019-04-26 20:08:20

阅读数 439

评论数 0

原创持续改进中——Easy Scheduler 1.0.1版本来了

持续改进中——Easy Scheduler 1.0.1版本来了背景在多位技术小伙伴的努力下，经过近2年的研发迭代、内部业务剥离及重构，也经历一批种子用户试用一段时间后，EasyScheduler终于迎来了第一个正式开源迭代发布版本 – 1.0.1，免编译版本下载地址 – 1.0.1 相信做过...

2019-04-17 10:54:37

阅读数 1061

评论数 1

原创分布式工作流任务调度系统Easy Scheduler正式开源

Easy Scheduler 大数据工作流调度系统已经开源，欢迎下载交流 https://github.com/analysys/EasyScheduler Easy Scheduler for Big Data 设计特点：一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据...

2019-03-29 23:56:37

阅读数 1746

评论数 1

原创 git使用.gitignore忽略提交文件并没有生效问题解决

idea集成git过滤一些不必要提交到git上的文件以及文件夹的时候发现使用.ignore插件创建.gitignore来忽略提交文件并没有生效，每次commit还是带了一堆不必提交的文件，最后找到了处理办法： .gitignore只能忽略那些原来没有被track的文件，如果某些文件已经被纳入了版...

2019-03-28 18:02:06

阅读数 943

评论数 0

原创 Excel表格转换为MarkDown表格工具

功能十分强大：https://tableconvert.com/ 还可以下载下来，真是很棒！

2019-03-18 22:49:49

阅读数 529

评论数 2

原创留存分析为何要做, 如何做

导读留存，是指用户在 App、网站等应用上使用过，并一段时间后仍有使用。留存分析模型是一种衡量用户健康度/参与度的方法，超越下载量、DAU 等这样的虚荣指标，深入了解用户的留存和流失状况，发现影响产品可持续增长的关键因素，指导市场决策、产品改进、提升用户价值等等。 ▌留存分析能解决哪些问...

2019-03-16 20:51:53

阅读数 732

评论数 0

原创易观推出免费版本方舟Argo，同时开源SDK及调度

易观推出了免费版本方舟Argo，Argo是国内唯一的一款免费的可以私有化部署的用户行为分析平台，可以私有化对接自己的各种内部系统，它的商业版本已经在招商银行、当当、首汽等客户大面积使用了。别人都是免费版到商业版，我们是先做商业版在做靠谱的免费版，初心真的是想把数据能力平民化，同时配合数据采集SD...

2019-03-01 23:02:37

阅读数 1452

评论数 0

原创 Apache Curator中的Connection Guarantees(连接保证)

Curator不断监控与ZooKeeper集合的连接。此外，每个操作都包含有重试机制。因此，可以做出以下保证：每个Curator操作都会好好的等待，直到与ZooKeeper建立连接每个Curator操作（create，getData等）都保证按照当前设置的重试策略管理连接丢失和会话过期 ...

2019-02-24 23:24:02

阅读数 778

评论数 0

原创我关注的一些技术微信公众号

AI前线微信号: ai-front InfoQ 微信号: infoqchina CSDN 微信号: CSDNnews 开源中国微信号：oschina2013 AI科技大本营微信号: rgznai100 美团技术团队（ID：meituantech） Dat...

2019-02-21 15:46:19

阅读数 333

评论数 0

转载在公有云实现分布式系统上千节点功能测试？Alluxio团队基于Docker的模拟方案和经验总结

01 摘要对分布式系统进行大规模测试通常是一个昂贵但又必要的流程。由于世界上很多公司和机构都依赖Alluxio技术，我们非常重视Alluxio的测试。因此，我们需要解决的一个问题是如何在不耗尽资源的情况下进行大规模测试。在本博客中，我们将展示Alluxio开源项目的开发维护者如何利用公有云基础设...

2019-02-14 14:13:04

阅读数 903

评论数 0

原创 Mac使用vnc远程登录ubuntu16.04桌面

mac使用vnc远程登录ubuntu16.04桌面 1.安装在Ubuntu上安装x11vnc，如下： sudo apt-get install x11vnc 2.配置vnc密码 x11vnc -storepasswd 3.启动vnc服务 x11vnc -forever -shared -rfba...

2019-01-23 15:22:00

阅读数 5344

评论数 2

原创开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum)

本文为博主公司原创文章，仿冒必究，转载请回复留言开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum) 易观CTO 郭炜序现在大数据组件非常多，众说不一，在每个企业不同的使用场景里究竟应该使用哪个引擎呢？这是易观Spark...

2019-01-21 10:47:05

阅读数 23312

评论数 13

原创大数据调度--有向无环图(DAG)之拓扑排序

拓扑排序(Topological Sorting) 维基百科上拓扑排序的定义为: 对于任何有向无环图(DAG)而言，其拓扑排序为其所有结点的一个线性排序(同一个有向图可能存在多个这样的结点排序)。该排序满足这样的条件——对于图中的任意两个结点U和V，若存在一条有向边从U指向V，则在拓扑排序中U一定...

2019-01-20 22:47:02

阅读数 1274

评论数 1

原创 2019.01.12 Presto中国区用户线下Meetup

2019.01.12号，我们邀请Presto原创团队莅临中国，带来关于Presto的最新feature和roadmap动态，也邀请国内的Presto前沿公司兄弟分享实践干货，期待各位朋友的参加：活动地点：北京朝阳区绿地中心B座10层盖亚互娱乌月神殿活动时间：2019年1月12日 14:...

2019-01-13 12:38:37

阅读数 472

评论数 0

原创 HDFS中的内存存储支持

因工作中olap场景中对性能的极致要求，我们将部分业务数据的hdfs路径的存储策略设置为放在内存中(RAM_DISK)中，这是在hadoop2.6以后的版本支持的。抽空翻译了官网的文章 HDFS中的内存存储支持介绍管理员配置限制副本使用的内存在数据节点上设置RAM磁盘选择tm...

2019-01-10 00:03:37

阅读数 1747

评论数 3

转载如何建立数据思维

数据思维是新手和老手的分界线（之一）作为数据PM，不管是初入行还是处于打怪中间态，都需要建立数据思维，从实战经验来看，数据思维也是区分一般数据PM和高阶数据PM的分界线之一。我刚入行时，做广告商业产品，遇到一个case让我见识到了产品老大的数据思维。对于广告部门而言，收入是KPI，每天的广告收入...

2019-01-02 22:33:55

阅读数 734

评论数 0

转载如何定义数据指标

数据指标的定义，是培养数据思维要闯的第一道关。比如常见的以下指标定义： 1、激活，如何定义一个激活？下载、安装并打开APP的用户数？我们暂且这么定义。根据定义，下载没安装或者安装没打开的用户，都不计入激活。只有完成所有步骤的用户才算。但是问题来了，一个用户下载、安装并打开APP时，根本没登录，他...

2019-01-02 22:20:30

阅读数 643

评论数 1

原创 spark-submit时上传spark依赖到hdfs时间较长问题解决

spark-submit时，发现上传spark依赖到hdfs 时间长达数分钟，现象如下方截图：这个日志之后在上传程序依赖的jar，根据不同网络负荷，需要耗时数十秒甚至数分钟，导致任务提交速度超级慢，在官网上查到出现这种现象的原因：https://spark.apache.org/docs/...

2018-12-22 17:55:47

阅读数 841

评论数 0

原创数据分析指标名词解释

数据分析指标名词解释名词解释维度指人们分析事物的角度。比如，分析活跃用户，可以从时间的维度，也可以从地域的维度去看，也可以时间、地域两个维度组合去分析。有层次关系的维度，就可以根据分析需求改变维的层次，变换分析的粒度钻取，比如分析活跃用户，从地域这个维度类型上，可以细分到省份、城市、...

2018-12-21 22:23:07

阅读数 1092

评论数 1

转载图解机器学习

图解机器学习每当提到机器学习，大家总是被其中的各种各样的算法和方法搞晕，觉得无从下手。确实，机器学习的各种套路确实不少，但是如果掌握了正确的路径和方法，其实还是有迹可循的，这里我推荐SAS的Li Hui的这篇博客，讲述了如何选择机器学习的各种方法。另外，Scikit-learn 也...

2018-12-18 00:08:32

阅读数 1296

评论数 0

提示

确定要删除当前文章？

取消删除