我们经常面对着海量的数据流，需要高效地采集、存储和监控这些数据。在这个过程中，监控是至关重要的一环，它可以帮助我们及时发现问题、分析性能瓶颈，并做出相应的优化和调整。在大数据领域，Canal 是一个备受青睐的开源数据同步工具，结合 Prometheus 监控系统，可以实现对 Canal 的全面监控。

一、Canal 简介

Canal 是阿里巴巴开源的一款基于 MySQL 协议的数据同步工具，主要用于实时获取 MySQL 数据库的数据变更并将这些变更传输到消息队列中，如 Kafka 或 RocketMQ。它能够捕获数据库的增删改操作，并以增量日志的形式输出，这为我们实时同步数据提供了强有力的支持。Canal 的使用场景广泛，可以应用于数据库镜像、数据备份恢复、业务数据实时分析等。

二、Prometheus 简介

Prometheus 是一套开源的监控与警报系统，专注于时序数据的采集与存储。它以多维数据模型来存储监控指标，提供灵活的查询语言 PromQL，并具备强大的报警机制。Prometheus 被广泛应用于容器化环境、微服务架构和分布式系统的监控领域。

三、安装 Prometheus

下载安装包

https://prometheus.io/download

解压安装包

tar -zxvf prometheus-2.23.0-rc.0.linux-amd64.tar.gz

修改配置文件
配置 prometheus.yml，添加canal的job

- job_name: 'canal'
    static_configs:
    - targets: ['localhost:11112'] // 端口配置即为canal.properties中的canal.metrics.pull.port

启动 prometheus

nohup ./prometheus > ./prometheus.log 2>&1 &

如果要指定配置文件，则加上参数 --config.file。比如：./prometheus --config.file=prometheus.yml

访问 prometheus

http://loalhost:9090

四、启动 Canal server

在 canal 安装目录执行：./startup.sh

五、安装 Grafana

Grafana 是一款开源的数据可视化平台，用于展示、查询和分析各种数据源的数据，经常和 Prometheus 配合使用，允许用户通过可视化仪表盘展示 Prometheus 数据。所以这里我们需要安装 Grafana。

下载安装包

https://grafana.com/grafana/download

解压安装包

tar -zxvf grafana-7.1.5.linux-amd64.tar.gz

启动 grafana

nohup ./bin/grafana-server > ./logs/grafana.log 2>&1 &

访问 grafana

http://localhost:8299
账号：admin / admin

六、配置 Canal 监控

1. 配置数据源
2. 导入canal监控文件
3. 查看监控仪表

往期推荐

Impala系列之一：Impala 架构原理及简单使用

Impala系列之二：Impala 数据类型及常见操作

零代码数据同步平台开源啦！！！

实时数仓架构选型及建议

常见的10种 CDC 组件和方案

ITPub博客

使用 Prometheus + Grafana 监控 Canal