ITPub博客

如果要编写一个程序启动的脚本大概是这样子的：yong grep 搜索对应的进程号 并awk 打印使用kill 命令杀死进程no haoop 启动后台服务并追加到logtail -f 加载log 即可。

Q：Spark和Hadoop的架构区别A：Hadoop:MapRedcue由Map和Reduce两个阶段，并通过shuffle将两个阶段连接起来的。但是套用MapReduce模型解决问题，不得不将问题分解为若干个有依赖关系的子问题，每个子问题对应一个MapReduce作业，最终所有这些作业形成一个DAG。Spark:是通用的DAG框架，可以将多个有依赖关系的作业转换为一个大的DAG。核心思想是将M

首先明确数据表之间的关系字段之间的数据关联关系，这个不难，使用图示法可以解决。表有哪些，关系是什么？=》sql 语句单表的插入关系是什么另一个维度考虑全量更新，批量更新，还是单笔更新呢

    Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流，像Hadoop批量处理大数据一样，Storm可以实时处理数据。storm 不处理静态数据,但它处理连续的流数据。1.Storm用于实时计算，Hadoop用于离线计算。2. Storm处理的数据保存在内存中，源源不断；Hadoop处理的数据保存在文件系统中，一批一批。3.&

用对应的plsql 导出数据时，可以导出不同的数据格式sql 文件insert into ，通常导出的是这个。csv 文件xls 文件html 文件这些都是比较常见的做法。数据生成器：如果我们知道数据业务规则，我们可以生成对应的业务数据。利用数据生成器生成批量生成对应的数据推荐阅读：https://www.modb.pro/db/327289

Spark Core：包含Spark的基本功能；尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的Spark SQL：提供通过Apache Hive的SQL变体Hive查询语言（HiveQL）与Spark进行交互的API。每个数据库表被当做一个RDD，Spark SQL查询被转换为Spark操作。Spark Streaming：对实时数

plsql / developmer 下拉框竟然可以切换视图。我之前竟然不知道，这样就可以切换视图了。

在mysql数据库中，关于时间的使用是datetime类型，而在开发中使用string类型datetime类型是规范的格式，储存空间8 bytes，YYYY-MM-DD HH:MM:SS格式固定，在特定查找下效率更高String类型储存空间为14+ bytes ，格式多种转化:3.在开发中使用String类型也可以转换为Date类型，SimpleDateFormat需要将String类型的时间转换

Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。Kibana让海量数据更容易理解。它操作简单，基于浏览器的用户界面可以快速创建仪表板（dashboard）实时显示Elasticsearch查询动态。二、Kibana安装与配置root@server5 ~]

18. 用表连接替换EXISTS当提交一个包含对多表信息（比如部门表和雇员表）的查询时，避免在SELECT子句中使用DISTINCT。 一般可以考虑用EXIST替换。EXISTS 使查询更为迅速，因为RDBMS核心模块将在子查询的条件一旦满足后，立刻返回结果。下面的SQL工具可以找出低效SQL，前提是需要DBA权限，否则查询不了。另外也可以使用SQL Trace工具来收集正在执行的SQL的性能状态

工作很长时间了，总结一下对应的数据库设计规范。设置数据库字典表，后缀名等统一规范便于查询设计规范金融类number(16,2)增加扩展字段增加创建时间和修改时间，描述字段等一律大小增加注释基本就这样。如下就是表结构了：请参看oracle 建表的官方文档。

import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException;import java.sql.Statement;import java.util.UUID;public class Test { public static void main(String[] args) { Conn

logstash常用于日志系统中做日志采集设备，最常用于ELK中作为日志收集器使用logstash的基本流程架构：input  |  filter  |  output 如需对数据进行额外处理，filter可省略。3.1 Input(输入）：采集各种样式，大小和相关来源数据，从各个服务器中收集数据。用于在将event通过output发出之前对其实现某些处理功

Excel里面有很多视图，可以进行数据的导入提供数据库导入，文本文件等格式导入提供网页内容导入，跨工作薄连接等这通常是数据的来源。

包含一个或多个具有相同 cluster.name 的节点.集群内节点协同工作，共享数据，并共同分担工作负荷。由于节点是从属集群的，集群会自我重组来均匀地分发数据. cluster Name是很重要的，因为每个节点只能是群集的一部分，当该节点被设置为相同的名称时，就会自动加入群集。集群中通过选举产生一个mater节点，它将负责管理集群范畴的变更，例如创建或删除索引，添加

当我们进行条件删除时比如按照隔行删除时，先在右边增加一个新的选择排序列，拉下来，然后在ｅｘｃｅｌ　的数据筛选视图中，就可以选择对应的数据了。学习excel的时间也不是很长，大学接触一点，毕业后在hw学习了一点，跟着mg学了一点，在csns其他倒是没有了，以后都是靠着自己摸索和学习了。感觉自己的对其理解的还是不够。这是常用工具一定要熟悉。

一个Coordinator节点一个Discovery Server节点多个Worker节点Coordinator: 负责解析SQL语句，生成执行计划，分发执行任务给Worker节点执行Discovery Server: 通常内嵌于Coordinator节点中Worker节点: 负责实际执行查询任务,负责与HDFS交互读取数据Worker节点启动后向Discovery

打开SQL窗口，使用sf 可以直接提示的呀，第一次才会，用到，节省了不少时间。之前压根不知道。

oracle 创建序列的语句create sequense my_seq //创建序列名：my_seqstart with 1 //从1开始increment by 1 //每次增长1maxvalue 999999 //nomaxvalue(不设置最大值) ---最大值minvalue 1 //最小值cycle //nocycle 一直累加，不循环 ；cycle 表示循环nocache ---缓存

2010年度我一开始接触的就是MySQL数据库。2012年度重新使用了Mysql 数据库。2013,2014几乎没用过MySQL数据过。2015-2016.oracle2017,hbase+Mysql2018.么有用过数据库。2019.没有用过，后来用过oracle2020,这次安装的是lnmp，是MySQL主备。后来是ocenbase.db22021.TDSQL.后半期是db2感觉都不是很精，作