ITPub博客

（1）切片操作：str1="hello world!" str1[1:3] <=> 'el'(左闭右开：即是从1到2)str[:3] <=> 'hel'str[2:] <=> 'llo world!'(2)和Java中的字符串一样，不能直接改变字符串的值，更新字符串时候可以用切片技术：

统计学中的三大相关性系数：pearson, spearman, kendall，他们反应的都是两个变量之间变化趋势的方向以及程度，其值范围为-1到+1。 0表示两个变量不相关，正值表示正相关，负值表示负相关，值越大表示相关性越强。1. person correlation coefficient（皮尔森相关性系数）     

1、介绍apply函数是pandas里面所有函数中自由度最高的函数。该函数如下：DataFrame.apply(func, axis=0, broadcast=False, raw=False, reduce=None, args=(), **kwds)该函数最有用的是第一个参数，这个参数是函数，相当于C/C++的函数指针。这个函数需要自己实现，函数的传入参数根据axis来定，比如axis = 1

1、问题显示如下所示：    Use the CROSS JOIN syntax to allow cartesian products between these relation 2、原因：     Spark 2.x版本中默认不支持笛卡尔积操作 3、解决方案：     通过参数spa

统计学中的三大相关性系数：pearson, spearman, kendall，他们反应的都是两个变量之间变化趋势的方向以及程度，其值范围为-1到+1。 0表示两个变量不相关，正值表示正相关，负值表示负相关，值越大表示相关性越强。1. person correlation coefficient（皮尔森相关性系数）     

解决方法1：#!/bin/=’,,,,=${ element  $解决方法2： #!/bin/bash user="aa:bb is ok:/home/work"i=1while((1==1))do　　split=`echo $user|cut -d ":"&nbsp

1、问题：     Xshell不能删除，删除时出现 退格^H 2、解决方案：     点击上方：文件→属性→终端→键盘，把 delete 和 backspace 序列改为 ASCII 127即可。如下所示：      &nbsp

kafka+storm+hbase实现计算WordCount。（1）表名：wc（2）列族：result（3）RowKey：word（4）Field：count 1、解决：（1）第一步：首先准备kafka、storm和hbase相关jar包。依赖如下：1234567891011121314151617181920212223242526272829303132333435363738394

一个Topic中的所有数据分布式的存储在kafka集群的所有机器(broker)上，以分区(partition)的的形式进行数据存储;每个分区允许存在备份数据/备份分区(存储在同一kafka集群的其它broker上的分区)每个数据分区在Kafka集群中存在一个broker节点上的分区叫做leader，存储在其它broker上的备份分区叫做followers;只有leader节点负责该分区的数据读写

1.什么是json?JSON全称是JavaScript Object Notation,是一种轻量级的数据交换格式。JSON 与XML具有相同的特性，是一种数据存储格式，但是JSON相比XML 更易于人编写和阅读，更易于生成和解析。2.JSON的语法规则:1)数据以名称/值对的形式保存，名称/值对包括字段名称(在双引号中)，后面写一个冒号，然后是值，如 ："firstName&quo

switch-case语句格式如下：switch(变量){ case 变量值1:     //;     break; case 变量值2:     //...;     break;  &nbs

一.创建Web项目1、File -> New Module，进入创建项目窗口2.选择Java类型，在 Module name 处输入项目名，点击Next3.勾选 Web Application，勾选 Create web.xml选项，点击Finish4.在项目的WEB-INF目录下点击右键，New -> Directory，创建classes和lib两个目录5.File -> P

黑背景版：先编译好要调试的程序。1.设置断点选定要设置断点的代码行，在行号的区域后面单击鼠标左键即可。2.开启调试会话点击红色箭头指向的小虫子，开始进入调试。IDE下方出现Debug视图，红色的箭头指向的是现在调试程序停留的代码行，方法f1()中，程序的第9行。红色箭头悬停的区域是程序的方法调用栈区。在这个区域中显示了程序执行到断点处所调用过的所用方法，越下面的方法被调用的越早。3.单步调试3.1

Ctrl+Shift + Enter，语句完成“!”，否定完成，输入表达式时按 “!”键Ctrl+E，最近的文件Ctrl+Shift+E，最近更改的文件Shift+Click，可以关闭文件Ctrl+[ OR ]，可以跑到大括号的开头与结尾Ctrl+F12，可以显示当前文件的结构Ctrl+F7，可以查询当前元素在当前文件中的引用，然后按 F3 可以选择Ctrl+N，可以快速打开类Ctrl+Shift

FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。

在MapReduce框架中，shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。Spark作为MapReduce框架的一种实现，也实现了shuffle的逻辑。ShuffleShuffle是MapReduce框架中的一个特定的phase，介于Map phase和Reduce

首先你需要一个github账号，所有还没有的话先去注册吧!https://github.com/我们使用git需要先安装git工具，这里给出下载地址，下载后一路直接安装即可：https://git-for-windows.github.io/1.进入Github首页，点击New repository新建一个项目2.填写相应信息后点击create即可Repository name: 仓库名称Desc

1.关系型数据库通过外键关联来建立表与表之间的关系，2.非关系型数据库通常指数据以对象的形式存储在数据库中，而对象之间的关系通过每个对象自身的属性来决定比如 有一个学生的数据：姓名：张三，性别：男，学号：12345，班级：二年级一班还有一个班级的数据：班级：二年级一班，班主任：李四关系型数据库中，我们创建学生表和班级表来存这两条数据，并且学生表中的班级存储的是班级表中的主键。非关系型数据库中，我们

1、执行效果上：l count(*)包括了所有的列，相当于行数，在统计结果的时候，不会忽略列值为NULLl count(1)包括了忽略所有列，用1代表代码行，在统计结果的时候，不会忽略列值为NULLl count(列名)只包括列名那一列，在统计结果的时候，会忽略列值为空(这里的空不是只空字符串或者0，而是表示null)的计数，即某个字段值为NULL时，不统计。2、执行效率上：l 列名为主键，c

　连接 hive shell　　直接输入 hive　　1、显示表　　hive> show tables; 　　OK 　　test 　　Time taken: 0.17 seconds, Fetched: 1 row(s)　　2、创建表　　hive> create table test(key string); 　　OK 　　Time t