开源分布式工作流任务调度系统 - Easy Scheduler

专注数据架构 外功修行,内功修神

class kafka.common.NotLeaderForPartitionException(kafka.server.ReplicaFetcherThread)异常处理

 [2017-06-15 19:33:14,716] ERROR [ReplicaFetcherThread-0-0], Error for partition [3_7_0_20170615,6] to broker 0:class kafka.common.NotLeaderForPartit...

2018-03-31 14:21:10

阅读数 3016

评论数 0

kafka彻底删除topic

今天发现一个线上kafka(版本为0.8.2.2)多天前已不再消费的topic标记为删除(marked for deletion),而我们每天有定时删除topic的shell脚本,会把无用的topic干掉,但发现这些topic只是被标记为删除,而并没有真正删除

2017-03-20 15:08:56

阅读数 4405

评论数 0

如何为Kafka集群选择合适的Partitions数量

如何为Kafka集群选择合适的Partitions数量Hadoop技术博文  这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素,并提供一些简单的计算公式。文章目录 [hide]1 越多的分区可以提供更高的吞吐量2 越多的分区需要打开更多地文件句柄3 更多...

2016-09-18 10:11:50

阅读数 7629

评论数 2

[异常处理]class kafka.common.UnknownTopicOrPartitionException (kafka.server.ReplicaFetcherThread)

在kafka.out日志里出现大量 ERROR [ReplicaFetcherThread-0-1], Error for partition [FLAG_DATA_SYC,1] to broker 1:class kafka.common.UnknownTopicOrPartitionExcep...

2016-01-06 16:24:40

阅读数 7035

评论数 0

Kafka消息delivery可靠性保证(Message Delivery Semantics)

原文见:http://kafka.apache.org/documentation.html#semantics 有这么几种可能的delivery guarantee: At most once 消息可能会丢,但绝不会重复传输At least one 消息绝不会丢,但可能会重复传输Ex...

2015-12-15 07:51:45

阅读数 2462

评论数 0

kafka.common.ConsumerRebalanceFailedException异常解决

kafka.common.ConsumerRebalanceFailedException :test-group_xxx can't rebalance after 4 retries 解决办法: 1.配置zk问题(kafka的consumer配置) zookeeper.sessio...

2015-11-02 08:46:45

阅读数 6495

评论数 5

Kafka配置文档

http://kafka.apache.org/08/configuration.html

2015-07-22 18:28:43

阅读数 754

评论数 0

Kafka Tools

参考, https://cwiki.apache.org/confluence/display/KAFKA/System+Tools https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools http://kafka....

2015-07-22 18:22:49

阅读数 2838

评论数 0

Kafka深度解析

Kafka深度解析 By Jason Guo 2015-01-02 Updated:2015-05-31 Contents 1. 背景介绍 1.1. Kafka简介1.2. 为什么要用消息系统1.3. 常用Message Queue对比 2. Kafka解析 2.1. Termin...

2015-07-14 18:53:30

阅读数 2247

评论数 0

提示
确定要删除当前文章?
取消 删除