前段时间，有个小伙伴给我分享了他在百度面试的经历。他被问到这样一个问题：
如何从 100GB 的日志文件中提取访问次数最多的 IP 地址，且内存限制为 1GB？
由于没有准备好，他在面试中表现得很不理想，最终未能通过。
这其实是一道经典的海量数据处理问题，难度就在于内存限制。我们需要想出一种巧妙的方法来提取最热门的 IP 地址。
1. 理解题目：从日志文件和内存限制说起
首先，我们来分析这道题。假设日志文件中的每一行都包含一个 IP 地址，我们不能简单地将所有 IP 地址都加载到内存中。因为如果直接存储这些数据，我们会面临内存不足的问题。
估算内存需求
假设每个 IP 地址占用 4 字节（即 32 位），那么理论上可以表示的 IP 地址范围是 2^32 ≈ 43 亿。对于 100GB 的日志文件，如果平均每行占用 20 字节（包括时间戳和 IP），那么估算一下：
总行数 ≈ 100GB/20B=5亿 如果我们试图将这些 IP 地址直接存储在内存中，显然会超出 1GB 的限制。因此，我们需要换个思路，不能“硬塞”，要想办法巧妙地存储和处理这些数据。
2. 解决方案：分片与并行处理
为了解决这个问题，我们可以采用分片和并行处理的策略。
- 分片：将大文件拆分成可管理的小文件。通过将 100GB 的日志文件分为多个小文件（每个约 100MB），可以有效降低在内存中的数据处理负担。
-
并行处理：利用 Java 的并发工具，如
ForkJoinPool，可以高效地处理这些小文件，实现并行计算，从而提高数据处理速度。
这种方法能够在内存有限的情况下，对海量数据进行高效处理，确保我们能找到访问次数最多的 IP 地址。
2.1 分片处理
首先，我们可以将 100GB 的日志文件分成多个小文件。这种方法可以有效地降低单次处理的数据量。具体步骤如下：
import java.io.*;import java.nio.charset.StandardCharsets;public class LogFileSplitter {// 将大日志文件拆分成多个小文件public static void splitLogFile(String inputFilePath, int totalFiles) throws IOException {// 创建缓冲阅读器读取输入文件BufferedReader reader = new BufferedReader(new InputStreamReader(new FileInputStream(inputFilePath), StandardCharsets.UTF_8));// 创建输出文件的 PrintWriter 数组PrintWriter[] writers = new PrintWriter[totalFiles];// 初始化输出文件for (int i = 0; i < totalFiles; i++) {writers[i] = new PrintWriter(new FileWriter("file_" + i + ".log"));}String line;// 按行读取日志文件while ((line = reader.readLine()) != null) {// 假设 IP 地址是每行的第二个元素 ,每行的日志记录格式为：timestamp IPString ip = line.split("\\s+")[1];// 计算文件索引int fileIndex = Math.abs(ip.hashCode()) % totalFiles;// 将行写入到对应的小文件writers[fileIndex].println(line);}// 关闭资源reader.close();for (PrintWriter writer : writers) {writer.close();}}}
2.2 并行处理 IP 统计
接下来，对每个小文件进行并行处理，以统计每个 IP 地址的访问次数。这里我们使用 Java 的 ForkJoinPool 来提升处理速度。
import java.io.BufferedReader;import java.io.FileReader;import java.io.IOException;import java.util.concurrent.ConcurrentHashMap;import java.util.concurrent.RecursiveTask;public class LogFileProcessor extends RecursiveTask<String> {private String filePath; // 小文件的路径// 构造函数public LogFileProcessor(String filePath) {this.filePath = filePath;}@Overrideprotected String compute() {// 存储 IP 访问次数的 ConcurrentHashMapConcurrentHashMap<String, Integer> ipCountMap = new ConcurrentHashMap<>();String maxIp = null; // 记录当前文件中出现次数最多的 IPint maxCount = 0; // 当前最大次数try (BufferedReader reader = new BufferedReader(new FileReader(filePath))) { // 使用自动资源管理String line;// 逐行读取文件while ((line = reader.readLine()) != null) {// 假设 IP 地址是每行的第二个元素String ip = line.split("\\s+")[1];// 使用 compute 或 merge 方法更新访问次数，确保线程安全int count = ipCountMap.merge(ip, 1, Integer::sum);// 实时更新最大访问次数的 IPif (count > maxCount) {maxCount = count;maxIp = ip;}}} catch (IOException e) {e.printStackTrace();}return maxIp + "," + maxCount; // 返回 IP 和其计数}}
2.3 合并结果
最后，我们需要合并所有小文件的统计结果，找到访问次数最多的 IP 地址。
import java.io.IOException;import java.util.concurrent.ForkJoinPool;public class LogAnalysis {public static void main(String[] args) {String inputFile = "access.log"; // 输入日志文件路径try {int totalFiles = 1024; // 定义文件分片数LogFileSplitter.splitLogFile(inputFile, totalFiles); // 拆分日志文件ForkJoinPool pool = new ForkJoinPool(); // 创建 ForkJoinPoolString globalMaxIp = null; // 记录全局最大次数的 IPint globalMaxCount = 0; // 记录全局最大次数// 并行处理每个小文件for (int i = 0; i < totalFiles; i++) {LogFileProcessor task = new LogFileProcessor("file_" + i + ".log");String result = pool.invoke(task); // 调用 ForkJoinPool 处理文件String[] parts = result.split(","); // 分离 IP 和次数String currentIp = parts[0];int currentCount = Integer.parseInt(parts[1]);// 更新全局最大访问次数的 IPif (currentCount > globalMaxCount) {globalMaxCount = currentCount;globalMaxIp = currentIp;}}// 输出结果System.out.println("访问次数最多的 IP 地址是： " + globalMaxIp + "，访问次数：" + globalMaxCount);} catch (IOException e) {e.printStackTrace();}}}
2.4 方案的优缺点
优点：
- 内存友好：通过分片处理，每次只处理 100MB 的数据，确保不会超出内存限制。
- 高效性：利用并行处理充分发挥多核处理器的性能，快速度完成统计。
- 简洁明了：代码逻辑清晰，容易理解和维护。
缺点：
- 依赖于文件 I/O：文件 I/O 速度如果过慢，可能会成为整体性能瓶颈。
- 不适合动态数据：如果日志数据频繁更新，可能需要重新分片和统计。
3. 总结
这道面试题展示了如何在内存有限的情况下，利用分片和并行处理的方式高效提取访问次数最多的 IP 地址。掌握这种思路，不仅能够帮助你在面试中脱颖而出，也在实际的大数据处理场景中非常实用。
如果你还有其他更好的思路或方法，欢迎随时留言讨论！
原文作者：Fox爱分享；如有侵权，请联系管理员删除。
