Kafka 특정 파티션 LOCK 현상

1. 이슈

- kafka version: 2.11-1.0.2

- 특정 파티션(37번)에 lag 몰림 현상

→ LOG-END-OFFSET이 증가/감소하지않고 LOCK이 걸림

→ Zookeeper, Kafka 재시작해도 해당 파티션에 누적된 Lag가 감소하지 않음

 

2. 조치

서비스 종료 후, LOG-END-OFFSET 수동 차감

/home/dir/kafka/bin/kafka-console-consumer.sh --bootstrap-server local:9092,sts-fep1:9092,sts-fep2:9092 --topic ServiceData-MDData --partition 37 --offset 15165641 --group ServiceData-MDData --max-messages 1

 

a) 조치 전

 

b) 조치 후

LOG-END-OFFSET 수동 차감후 서비스 재기동