背景

Easticsearch vs Clickhouse

成本分析

备注：在没有任何折扣的情况下，基于aliyun分析

环境部署

zookeeper 集群部署

yum install java-1.8.0-openjdk-devel.x86_64

/etc/profile 配置环境变量

更新系统时间

yum install  ntpdate

ntpdate asia.pool.ntp.org





mkdir zookeeper

mkdir ./zookeeper/data

mkdir ./zookeeper/logs





wget  --no-check-certificate 

tar -zvxf apache-zookeeper-3.7.1-bin.tar.gz -C /usr/zookeeper





export ZOOKEEPER_HOME=/usr/zookeeper/apache-zookeeper-3.7.1-bin

export PATH=$ZOOKEEPER_HOME/bin:$PATH





进入ZooKeeper配置目录

cd $ZOOKEEPER_HOME/conf





新建配置文件

vi zoo.cfg





tickTime=2000

initLimit=10

syncLimit=5

dataDir=/usr/zookeeper/data

dataLogDir=/usr/zookeeper/logs

clientPort=2181

server.1=zk1:2888:3888

server.2=zk2:2888:3888

server.3=zk3:2888:3888





在每台服务器上执行，给zookeeper创建myid

echo "1" > /usr/zookeeper/data/myid

echo "2" > /usr/zookeeper/data/myid

echo "3" > /usr/zookeeper/data/myid





进入ZooKeeper bin目录

cd $ZOOKEEPER_HOME/bin

sh zkServer.sh start

Kafka 集群部署

mkdir -p /usr/kafka

chmod 777 -R /usr/kafka

wget  --no-check-certificate 

tar -zvxf kafka_2.12-3.2.0.tgz -C /usr/kafka





不同的broker Id 设置不一样，比如 1,2,3

broker.id=1

listeners=PLAINTEXT://ip:9092

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dir=/usr/kafka/logs

num.partitions=5

num.recovery.threads.per.data.dir=3

offsets.topic.replication.factor=2

transaction.state.log.replication.factor=3

transaction.state.log.min.isr=3

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=zk1:2181,zk2:2181,zk3:2181

zookeeper.connection.timeout.ms=30000

group.initial.rebalance.delay.ms=0





后台常驻进程启动kafka

nohup /usr/kafka/kafka_2.12-3.2.0/bin/kafka-server-start.sh /usr/kafka/kafka_2.12-3.2.0/config/server.properties   >/usr/kafka/logs/kafka.log >&1 &





/usr/kafka/kafka_2.12-3.2.0/bin/kafka-server-stop.sh





$KAFKA_HOME/bin/kafka-topics.sh --list --bootstrap-server  ip:9092





$KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server ip:9092 --topic test --from-beginning





$KAFKA_HOME/bin/kafka-topics.sh  --create --bootstrap-server  ip:9092  --replication-factor 2 --partitions 3 --topic xxx_data

FileBeat  部署

sudo rpm 
--import 






Create a 
file 
with a .repo extension (
for example, elastic.repo) 
in your /etc/yum.repos.d/ 
directory 
and 
add the 
following 
lines:

在/etc/yum.repos.d/ 目录下创建elastic.repo





[elastic
-8.x]


name=Elastic repository 
for 
8.x packages

baseurl=
8.x/yum

gpgcheck=
1

gpgkey=
KEY-elasticsearch

enabled=
1

autorefresh=
1


type=rpm-md





yum 
install filebeat

systemctl 
enable filebeat

chkconfig 
--add filebeat

filebeat.inputs:

- type: log

  enabled: true

  paths:

    - /root/logs/xxx/inner/*.log

  json:  

如果不设置该索性，所有的数据都存储在message里面，这样设置以后数据会平铺。

       keys_under_root: true 

output.kafka:

  hosts: ["kafka1:9092", "kafka2:9092", "kafka3:9092"]

  topic: 'xxx_data_clickhouse'

  partition.round_robin:

            reachable_only: false

            required_acks: 1

            compression: gzip

processors: 

剔除filebeat 无效的字段数据

    - drop_fields:  

        fields: ["input", "agent", "ecs", "log", "metadata", "timestamp"]

        ignore_missing: false





nohup ./filebeat -e -c /etc/filebeat/filebeat.yml > /user/filebeat/filebeat.log & 

输出到filebeat.log文件中，方便排查

Clickhouse 部署

检查当前CPU是否支持SSE 4.2，如果不支持，需要通过源代码编译构建

grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"

返回 "SSE 4.2 supported" 表示支持，返回 "SSE 4.2 not supported" 表示不支持





创建数据保存目录，将它创建到大容量磁盘挂载的路径

mkdir -p /data/clickhouse

修改/etc/hosts文件，添加clickhouse节点

举例：

10.190.85.92 bigdata-clickhouse-01

10.190.85.93 bigdata-clickhouse-02





服务器性能参数设置：

cpu频率调节，将CPU频率固定工作在其支持的最高运行频率上，而不动态调节，性能最好

echo 'performance' | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor





内存调节，不要禁用 overcommit

echo 0 | tee /proc/sys/vm/overcommit_memory





始终禁用透明大页(transparent huge pages)。它会干扰内存分配器，从而导致显着的性能下降

echo 'never' | tee /sys/kernel/mm/transparent_hugepage/enabled





首先，需要添加官方存储库：

yum install yum-utils

rpm --import <

yum-config-manager --add-repo <





查看clickhouse可安装的版本：

yum list | grep clickhouse

运行安装命令：

yum -y install clickhouse-server clickhouse-client





修改/etc/clickhouse-server/config.xml配置文件，修改日志级别为information，默认是trace

<level>information</level>

执行日志所在目录：





正常日志

/var/log/clickhouse-server/clickhouse-server.log

异常错误日志

/var/log/clickhouse-server/clickhouse-server.err.log





查看安装的clickhouse版本：

clickhouse-server --version

clickhouse-client --password





sudo clickhouse stop

sudo clickhouse tart

sudo clickhouse start

总结

如果所在的公司缺乏较大的行业影响力，个人感觉可以奋战在一线，未来选择新的工作。考量更多的还是行业影响、商业sense、技术架构能力。