ITPub博客

1、备份命令 格式：mysqldump -h主机名 -P端口 -u用户名 -p密码 --database 数据库名 > 文件名.sql 例如： mysqldump -h 192.168.1.100 -p 3306 -uroot -ppassword --database cmdb > /data/backup/cmdb.sql参考链接：1.https://blog.

实时数据处理愈来愈重要，流式数据处理有着更高的处理效率和成本控制能力。Flink在德语中意味着快速和灵敏，用来体现流式数据处理器速度快和灵活性强等特色。Apache是流式框架中同时支持低延迟、高吞吐、Exactly-once的，同时提供了基于流式计算引擎处理批量数据的计算能力，真正意义上实现了批流统一，同时随着阿里Blind的开源，极大地加强了Flink对批量计算领域的支持，编程主要基于集中式的关

整个大数据知识体系学习需要花较长的时间，大数据框架也比较多，下图是我自学大数据的技术栈。我是依据目标企业的招聘要求，选择以下技术栈学习，还有其它的框架，可以视情况而定，选择要不要学。Java是基础工具，我个人是学完JavaSE，重点对集合、多线程以及JVM进行深入学习，JavaEE没有花时间学。如果你时间充裕，比如大二或者研一同学，可以深入学习JavaEE，再进行后续的学习也行。目前企业生产基本使

SELECTTABLE_NAME 表名,COLUMN_NAME 代码,COLUMN_COMMENT 名称,COLUMN_TYPE 数据类型,COLUMN_KEY 主键,COLUMN_COMMENT 注释FROMINFORMATION_SCHEMA.COLUMNSwhere-- flowershop 为数据库名称，复制粘贴改为你的数据库名称即可table_schema ='flowersho

Oracle数据库AWR报告AWR (Automatic Workload Repository) 是自动负载信息库的英文缩写，AWR报告是Oracle 10g以后版本提供的一种性能收集和分析工具，能提供一个时间段内整个系统资源使用情况的报告，通过报告可以了解一个系统的整个运行情况。使用oralce用户登陆操作系统，如果不知道oracle用户密码，可从root用户 su - oracle

service mysqld restart参考博文：https://www.656463.com/wenda/alyecscentos7zddmysqlzmqd_54

FirewalIID is not running.systemctl status firewalld如果是dead状态，即防火墙未开启。systemctl start firewalldsystemctl status firewalldsystemctl unmask firewalldfirewall-cmd --permanent --zone=public&nbsp

Storm是一个开源的，分布的，可靠的，容错的数据流处理系统。Storm有很多使用场景：如实时分析，在线机器学习，持续计算，分布式RPC，ETL等等。Storm支持水平扩展，具有高容错性，保证每个消息都会得到处理，而且处理速度很快（在一个小集群中，每个结点每秒可以处理数以百万计的消息）。Storm的部署和运维都很便捷，而且更为重要的是可以使用任意编程语言来开发应用。Storm集群的输入流由一个被称

Spark on YarnclientCluster本质区别，driver位置不同1)有哪些不同得进程？2)分别有什么作用？3)Spark作业执行流程是什么样的--master yarnCoarseGrainedExecutorBackend 默认executor有两个CoarseGrainedExecutorBackend SparkSubmitApplicationMast

1 Split 阶段在 mapreduce 中的 map task 开始之前，将文件按照指定的大小切割成若干个部分，每一部分称为一个 split，默认是 split 的大小与 block 的大小相等，均为 128MB。split 大小由 minSize、maxSize、blocksize 决定，以 wordcount 代码为例，以下是 main()方法进入waitForCompletion(tru

① hadoop-yarn-api主要实现了 clients 和 ResourceManager ，clients 与 HistoryServer，ApplicationMaster 和 ResourceManager，clients 与 SharedCacheManager，ApplicationMaster 与 NodeManager 等组件之间的 RPC 协议。② had

① hadoop-yarn-api主要实现了 clients 和 ResourceManager ，clients 与 HistoryServer，ApplicationMaster 和 ResourceManager，clients 与 SharedCacheManager，ApplicationMaster 与 NodeManager 等组件之间的 RPC 协议。② had

HDFS 如何实现有状态的高可用架构HDFS 如何解决单机内存受限问题HDFS 支持亿级流量的密码SecondaryNameNode 作用1.1 HDFS 架构演进之路Hadoop 大版本有三个，Hadoop1、hadoop2、Hadoop3,对应的HDFS 也有三个版本 HDFS1、HDFS2、HDFS3，本文会介绍 三个版本之间的架构区别Namenode 主要是接收客户端的请求和负责元数据管理

hbase 架构分析：大：一个表可以有上亿行，上百万列。面向列：面向列簇的存储和权限控制，列簇独立检索。稀疏：对于空（null）的列，并不占用存储空间，因此，表可以设计的非常稀疏。无模式（no Schema）：每一行都有一个可以排序的主键和任意多的列，列可以根据需要动态增加，同一张表中不同的行可以有截然不同的列。数据多版本：每个单元格中的数据可以有多个版本，默认情况下，版本号自动分配，版本号就是单

StormTwitter流式处理Twitter 的新流式大数据分析解决方案S4Yahoo!流式处理来自 Yahoo! 的分布式流计算平台HadoopApache批处理MapReduce 范式的第一个开源实现SparkUC Berkeley AMPLab批处理/流处理支持内存中数据集和恢复能力的最新分析平台DiscoNokia批处理Nokia 的分布式 MapReduce 框架HPCCLexisNe

大学中除了网络安全外，出来做应用的多，涉及的主要是应用安全：可以对应用程序执行多种类型的测试，最流行的测试是 SAST、DAST 和 IAST，但静态应用程序安全测试 (SAST) 是稳妥而又有效的测试。也就是说，SAST 是一种分析应用程序源代码的测试。什么是 SAST?SAST ( 静态应用程序安全测试)是一种安全测试，用于分析源代码中的漏洞和缺陷。这与其他形式的安全测试形成对比，其

Spark Streaming是构建在Spark Core基础之上的流处理框架，是Spark非常重要的组成部分。什么是DStreamSpark Streaming是构建在Spark Core的RDD基础之上的，与此同时Spark Streaming引入了一个新的概念：DStream（Discretized Stream，离散化数据流)，表示连续不断的数据流。DStream抽象是Spark Stre

Spark SQL是Spark用于结构化数据(structured data)处理的Spark模块。二、Hive and SparkSQL SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。 Hive是早期唯一运行在Hadoop上的SQL-on-Hadoop工具。但是MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的

hbase所谓的三维有序存储的三维是指：rowkey（行主键），column key(columnFamily+qualifier)，timestamp(时间戳)三部分组成的三维有序存储。rowkey是行的主键，而且hbase只能用个rowkey，或者一个rowkey范围即scan来查找数据。所以 rowkey的设计是至关重要的，关系到你应用层的查询效率。rowkey是以字典顺序排序的，存储的是字

1、oracle当oracle单表的数据量大于2000万行时，建议进行水平分拆2、mysql当mysql单表的数据量大于1000万行时，建议进行水平分拆。单表容量到了1000W以上基本上稍微复杂一点的SQL都需要仔细优化，这时候的SQL耗时主要集中在磁盘IO上，数据命令缓存的概率降低，总之不好搞，如果是正常的互联网项目，提前分库分表，在前期能做的先做了，后面会省很多时间处理数据迁移的事情，数据操作