ITPub博客

Fraud Detection with the DataStream API #FraudDetectionJob.javapackage spendreport; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.s

目前主流的流式计算框架有Storm/Jstorm、Spark Streaming、Flink/Blink三种。Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架，具有最高的摄取率。在Storm中，需要先设计一个实时计算结构，我们称之为拓扑（topology）。之后，这个拓扑结构会被提交给集群，其中主节点（master

入门链接：https://pan.baidu.com/s/12LOGsgU00hVIPI2x--qfkw 提取码：vro22.黑马http://yun.itheima.com/map/65.html 3.https://www.bilibili.com/video/av670725605/ 4.韩XXhttps://blog.csdn.net/star1210644725/article

Navicat 8 for MySQL 转存储SQL文件的时候提示 1146 - Table 'mysql.event' doesn`t existhttps://www.pudn.com/news/624ecebefc37f87c24e7edd1.html

物理备份：数据库操作系统的物理文件（如数据文件，日志文件等）的备份物理备份的方法：冷备份（脱机备份）：是在关闭数据库时候进行的热备份（联机备份）：数据库处于运行状态，依赖于数据库的日志文件温备份：数据库锁定表格（不可写入但可读）的状态下备份操作逻辑备份：对数据库逻辑组件（如：表等数据库对象）的备份完全备份:每次对数据库进行完整的备份 差异备份:备份自从上次完全备份之后被修改过的文件 增

ob和Task有几种不同语境下的区别：spark语境下在Spark中，Task是一个Job进行切割后运行的最小运算单元。一般情况下，一个rdd有多少个partition，就会有多少个Task，因为每一个Task只是处理一个partition上的数据。而Task进行组合分批后，被称为stage。Spark会为不同的stage以及不同的Task设好前后依赖，来保证整个Job运行的正确性和完整性，最后一

由于 MySQL 的 InnoDB 引擎表索引字段长度的限制为 767 字节，因此对于多字节字符集的大字段或者多字段组合，创建索引时会出现该问题。

情况一:sort内存溢出，考虑增加服务器的排序缓冲区(sort_buffer_size)大小 情况二:SQL语句问题

navlicat 导入导出SQL 导出SQL 文件的2G左右的SQL很快就可以到完成了，如果不是的话请检查对应的内存状态，刚开始我的很慢，导入不进去，后来删了文件，速度就快了。导出文件时，导出对应的转存SQL文件即可

1、备份命令 格式：mysqldump -h主机名 -P端口 -u用户名 -p密码 --database 数据库名 > 文件名.sql 例如： mysqldump -h 192.168.1.100 -p 3306 -uroot -ppassword --database cmdb > /data/backup/cmdb.sql参考链接：1.https://blog.

实时数据处理愈来愈重要，流式数据处理有着更高的处理效率和成本控制能力。Flink在德语中意味着快速和灵敏，用来体现流式数据处理器速度快和灵活性强等特色。Apache是流式框架中同时支持低延迟、高吞吐、Exactly-once的，同时提供了基于流式计算引擎处理批量数据的计算能力，真正意义上实现了批流统一，同时随着阿里Blind的开源，极大地加强了Flink对批量计算领域的支持，编程主要基于集中式的关

整个大数据知识体系学习需要花较长的时间，大数据框架也比较多，下图是我自学大数据的技术栈。我是依据目标企业的招聘要求，选择以下技术栈学习，还有其它的框架，可以视情况而定，选择要不要学。Java是基础工具，我个人是学完JavaSE，重点对集合、多线程以及JVM进行深入学习，JavaEE没有花时间学。如果你时间充裕，比如大二或者研一同学，可以深入学习JavaEE，再进行后续的学习也行。目前企业生产基本使

SELECTTABLE_NAME 表名,COLUMN_NAME 代码,COLUMN_COMMENT 名称,COLUMN_TYPE 数据类型,COLUMN_KEY 主键,COLUMN_COMMENT 注释FROMINFORMATION_SCHEMA.COLUMNSwhere-- flowershop 为数据库名称，复制粘贴改为你的数据库名称即可table_schema ='flowersho

Oracle数据库AWR报告AWR (Automatic Workload Repository) 是自动负载信息库的英文缩写，AWR报告是Oracle 10g以后版本提供的一种性能收集和分析工具，能提供一个时间段内整个系统资源使用情况的报告，通过报告可以了解一个系统的整个运行情况。使用oralce用户登陆操作系统，如果不知道oracle用户密码，可从root用户 su - oracle

service mysqld restart参考博文：https://www.656463.com/wenda/alyecscentos7zddmysqlzmqd_54

FirewalIID is not running.systemctl status firewalld如果是dead状态，即防火墙未开启。systemctl start firewalldsystemctl status firewalldsystemctl unmask firewalldfirewall-cmd --permanent --zone=public&nbsp

Storm是一个开源的，分布的，可靠的，容错的数据流处理系统。Storm有很多使用场景：如实时分析，在线机器学习，持续计算，分布式RPC，ETL等等。Storm支持水平扩展，具有高容错性，保证每个消息都会得到处理，而且处理速度很快（在一个小集群中，每个结点每秒可以处理数以百万计的消息）。Storm的部署和运维都很便捷，而且更为重要的是可以使用任意编程语言来开发应用。Storm集群的输入流由一个被称

Spark on YarnclientCluster本质区别，driver位置不同1)有哪些不同得进程？2)分别有什么作用？3)Spark作业执行流程是什么样的--master yarnCoarseGrainedExecutorBackend 默认executor有两个CoarseGrainedExecutorBackend SparkSubmitApplicationMast

1 Split 阶段在 mapreduce 中的 map task 开始之前，将文件按照指定的大小切割成若干个部分，每一部分称为一个 split，默认是 split 的大小与 block 的大小相等，均为 128MB。split 大小由 minSize、maxSize、blocksize 决定，以 wordcount 代码为例，以下是 main()方法进入waitForCompletion(tru

① hadoop-yarn-api主要实现了 clients 和 ResourceManager ，clients 与 HistoryServer，ApplicationMaster 和 ResourceManager，clients 与 SharedCacheManager，ApplicationMaster 与 NodeManager 等组件之间的 RPC 协议。② had