- **介绍**
在 Flink 中，map 和 mapPartition 都是转换操作，它们可以对数据流中的元素进行处理和转换。它们之间的主要区别在于处理数据的粒度不同。

- **map**
map 转换操作接收一个 MapFunction，它对数据流中的每个元素进行处理。MapFunction 的 map 方法接收一个输入元素，并返回一个输出元素。例如，下面的代码使用 map 转换操作将输入流中的每个整数乘以 2：
```java
DataStream<Integer> input = ...;
DataStream<Integer> output = input.map(new MapFunction<Integer, Integer>() {
    @Override
    public Integer map(Integer value) throws Exception {
        return value * 2;
    }
});
```

- **MapFunction**
mapPartition 转换操作接收一个 MapPartitionFunction，它对数据流中的每个分区进行处理。MapPartitionFunction 的 mapPartition 方法接收一个分区中所有元素的迭代器，并返回一个输出元素的迭代器。例如，下面的代码使用 mapPartition 转换操作计算输入流中每个分区的整数总和：
```java
DataStream<Integer> input = ...;
DataStream<Integer> output = input.mapPartition(new MapPartitionFunction<Integer, Integer>() {
    @Override
    public void mapPartition(Iterable<Integer> values, Collector<Integer> out) throws Exception {
        int sum = 0;
        for (Integer value : values) {
            sum += value;
        }
        out.collect(sum);
    }
});
```

- **总结**
总之，map 和 mapPartition 都是用于对数据流中的元素进行处理和转换的转换操作，它们之间的区别在于处理数据的粒度不同：map 操作对每个元素进行处理，而 mapPartition 操作对每个分区进行处理。

ITPub博客

Flink 中 map 和 mapPartition的区别

最新文章