2 Star 12 Fork 23

巨轮/LearnKafka

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
CustomSaveOffset.java 2.17 KB
一键复制 编辑 原始数据 按行查看 历史
巨轮 提交于 2020-07-28 01:03 . First commit
package com.lun.kafka.consumer;
import org.apache.kafka.clients.consumer.*;
import org.apache.kafka.common.TopicPartition;
import java.util.*;
public class CustomSaveOffset {
private static Map<TopicPartition, Long> currentOffset = new HashMap<>();
public static void main(String[] args) {
// 创建配置信息
Properties props = new Properties();
// Kafka 集群
props.put("bootstrap.servers", "hadoop102:9092");
// 消费者组,只要 group.id 相同,就属于同一个消费者组
props.put("group.id", "test");
// 关闭自动提交 offset
props.put("enable.auto.commit", "false");
// Key 和 Value 的反序列化类
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
// 创建一个消费者
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
// 消费者订阅主题
consumer.subscribe(Arrays.asList("first"), new ConsumerRebalanceListener() {
// 该方法会在 Rebalance 之前调用
@Override
public void onPartitionsRevoked(Collection<TopicPartition> partitions) {
commitOffset(currentOffset);
}
// 该方法会在 Rebalance 之后调用
@Override
public void onPartitionsAssigned(Collection<TopicPartition> partitions) {
currentOffset.clear();
for (TopicPartition partition : partitions) {
consumer.seek(partition, getOffset(partition));// 定位到最近提交的 offset 位置继续消费
}
}
});
while (true) {
ConsumerRecords<String, String> records = consumer.poll(100);// 消费者拉取数据
for (ConsumerRecord<String, String> record : records) {
System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
currentOffset.put(new TopicPartition(record.topic(), record.partition()), record.offset());
}
commitOffset(currentOffset);// 异步提交
}
}
// 获取某分区的最新 offset
private static long getOffset(TopicPartition partition) {
return 0;
}
// 提交该消费者所有分区的 offset
private static void commitOffset(Map<TopicPartition, Long> currentOffset) {
}
}
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
1
https://gitee.com/jallenkwong/LearnKafka.git
git@gitee.com:jallenkwong/LearnKafka.git
jallenkwong
LearnKafka
LearnKafka
master

搜索帮助

344bd9b3 5694891 D2dac590 5694891