Java 自定义方法 - KAFKA

Java 自定义函数 - KAFKA

消费

设置每次消费最大记录数

默认值为 500 条。

Properties props = new Properties();
props.put("max.poll.records", N);
...
consumer = new KafkaConsumer(props);

props 配置变化，需要 new consumer。

当 N 较大时，需要相应设置 fetch.max.bytes，该参数与 fetch.min.bytes（默认值 1B） 参数对应，它用来配置 Consumer 在一次拉取请求中从Kafka中拉取的最大数据量，默认值为52428800（B），也就是50MB。

获取消费记录

直到取到 max.poll.records 条记录或超过指定时长（如下面语句为 1000 毫秒）。

KafkaConsumer<String, String> consumer;
consumer.poll(Duration.ofMillis(1000));