数据之路

专注数据架构 外功修行,内功修神

大数据分析常用去重算法分析『HyperLogLog 篇』

大数据分析常用去重算法分析『HyperLogLog 篇』 在上篇推送中,Kyligence 大数据工程师陶加涛为大家介绍了利用 Roaring Bitmap 来进行精确去重。虽然这种算法能大大地减少存储开销,但是随着数据量的增大,它依然面临着存储上的压力。在本篇推送中将要介绍的 HyperLogL...

2019-05-09 11:35:44

阅读数 385

评论数 0

jvm疯狂吞占内存,罪魁祸首是谁

分享一篇公司小伙伴的关于jvm占用内存的技术文章 导读:JVM是Java Virtual Machine的缩写,中文名为Java虚拟机。它是一种用于计算设备的规范,是一个虚构出来的计算机,主要通过在实际的计算机上仿真模拟各种计算机功能来实现的。在实际运用过程中,易观技术人员注意到一台开发机上各个...

2018-11-12 14:25:32

阅读数 1677

评论数 1

各种压缩技术性能比较

各种压缩技术性能比较: Compressor name Ratio Compression Decompress. zstd 1.3.4 -1 2.877 470 MB/s 1380 MB/s zlib 1.2.11 -1 2.743 11...

2018-09-14 12:09:48

阅读数 299

评论数 0

Linux OOM killer详解

Linux OOM killer 作为Linux下的程序员,有时不得不面对一个问题,那就是系统内存被用光了,这时当进程再向内核申请内存时,内核会怎么办呢?程序里面调用的malloc函数会返回null吗? 为了处理内存不足时的问题,Linux内核发明了一种机制,叫OOM(Out Of Memor...

2018-08-21 15:02:40

阅读数 474

评论数 0

线程的几个状态

Runnable:一般指该线程正在执行状态中,该线程占用了资源,正在处理某个请求,有可能正在传递SQL到数据库执行,有可能在对某个文件操作,有可能进行数据类型等转换。Waiting on condition:等待资源,或等待某个条件的发生。具体原因需结合 stacktrace来分析。 如果堆栈信...

2016-01-04 00:27:13

阅读数 910

评论数 0

线程数对系统性能的影响图

2015-08-03 23:05:41

阅读数 1354

评论数 0

Every Programmer Should Know These Latency Numbers

Every Programmer Should Know These Latency Numbers 1秒=1000毫秒(ms) 1秒=1,000,000 微秒(μs) 1秒=1,000,000,000 纳秒(ns) 1秒=1,000,000,000,000 皮秒(ps) L1 cache ...

2015-06-11 00:00:56

阅读数 781

评论数 0

线程的状态转换

线程的状态有:new、runnable、running、waiting、timed_waiting、blocked、dead  当执行new Thread(Runnabler)后,新创建出来的线程处于new状态,这种线程不可能执行  当执行thread.start()后,线程处于runnabl...

2015-05-26 19:12:40

阅读数 1716

评论数 0

使用MAT分析内存泄露

使用MAT分析内存泄露 对于大型服务端应用程序来说,有些内存泄露问题很难在测试阶段发现,此时就需要分析JVM Heap Dump文件来找出问题。随着单机内存越来越大,应用heap也开得越来越大,动辄十几G的Dump也不足为奇了。要快速分析,快速定位问题就必须有给力的工具帮忙,下面我来介绍下常用内存...

2015-05-19 07:12:01

阅读数 1101

评论数 2

提示
确定要删除当前文章?
取消 删除