JSON详解
1.什么是json?JSON全称是JavaScript Object Notation,是一种轻量级的数据交换格式。JSON 与XML具有相同的特性,是一种数据存储格式,但是JSON相比XML 更易于人编写和阅读,更易于生成和解析。2.JSON的语法规则:1)数据以名称/值对的形式保存,名称/值对包括字段名称(在双引号中),后面写一个冒号,然后是值,如 :"firstName&quo
java中的switch case语句
switch-case语句格式如下:switch(变量){ case 变量值1: //; break; case 变量值2: //...; break; &nbs
Intellij IDEA 创建Web项目并在Tomcat中部署运行
一.创建Web项目1、File -> New Module,进入创建项目窗口2.选择Java类型,在 Module name 处输入项目名,点击Next3.勾选 Web Application,勾选 Create web.xml选项,点击Finish4.在项目的WEB-INF目录下点击右键,New -> Directory,创建classes和lib两个目录5.File -> P
IDEA调试总结(设置断点进行调试)
黑背景版:先编译好要调试的程序。1.设置断点选定要设置断点的代码行,在行号的区域后面单击鼠标左键即可。2.开启调试会话点击红色箭头指向的小虫子,开始进入调试。IDE下方出现Debug视图,红色的箭头指向的是现在调试程序停留的代码行,方法f1()中,程序的第9行。红色箭头悬停的区域是程序的方法调用栈区。在这个区域中显示了程序执行到断点处所调用过的所用方法,越下面的方法被调用的越早。3.单步调试3.1
IDEA快捷键
Ctrl+Shift + Enter,语句完成“!”,否定完成,输入表达式时按 “!”键Ctrl+E,最近的文件Ctrl+Shift+E,最近更改的文件Shift+Click,可以关闭文件Ctrl+[ OR ],可以跑到大括号的开头与结尾Ctrl+F12,可以显示当前文件的结构Ctrl+F7,可以查询当前元素在当前文件中的引用,然后按 F3 可以选择Ctrl+N,可以快速打开类Ctrl+Shift
HDFS shell命令
FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。
Shuffle过程
在MapReduce框架中,shuffle是连接Map和Reduce之间的桥梁,Map的输出要用到Reduce中必须经过shuffle这个环节,shuffle的性能高低直接影响了整个程序的性能和吞吐量。Spark作为MapReduce框架的一种实现,也实现了shuffle的逻辑。ShuffleShuffle是MapReduce框架中的一个特定的phase,介于Map phase和Reduce
如何将本地项目上传至GitHub
首先你需要一个github账号,所有还没有的话先去注册吧!https://github.com/我们使用git需要先安装git工具,这里给出下载地址,下载后一路直接安装即可:https://git-for-windows.github.io/1.进入Github首页,点击New repository新建一个项目2.填写相应信息后点击create即可Repository name: 仓库名称Desc
关系型数据库和非关系型数据库的区别
1.关系型数据库通过外键关联来建立表与表之间的关系,2.非关系型数据库通常指数据以对象的形式存储在数据库中,而对象之间的关系通过每个对象自身的属性来决定比如 有一个学生的数据:姓名:张三,性别:男,学号:12345,班级:二年级一班还有一个班级的数据:班级:二年级一班,班主任:李四关系型数据库中,我们创建学生表和班级表来存这两条数据,并且学生表中的班级存储的是班级表中的主键。非关系型数据库中,我们
count(*)、count(1)和count(列名)的区别
1、执行效果上:l count(*)包括了所有的列,相当于行数,在统计结果的时候,不会忽略列值为NULLl count(1)包括了忽略所有列,用1代表代码行,在统计结果的时候,不会忽略列值为NULLl count(列名)只包括列名那一列,在统计结果的时候,会忽略列值为空(这里的空不是只空字符串或者0,而是表示null)的计数,即某个字段值为NULL时,不统计。2、执行效率上:l 列名为主键,c
Hive shell 命令
连接 hive shell 直接输入 hive 1、显示表 hive> show tables; OK test Time taken: 0.17 seconds, Fetched: 1 row(s) 2、创建表 hive> create table test(key string); OK Time t
count(*)、count(1)和count(列名)的区别
1、执行效果上: l count(*)包括了所有的列,相当于行数,在统计结果的时候,不会忽略列值为NULL l count(1)包括了忽略所有列,用1代表代码行,在统计结果的时候,不会忽略列值为NULL l count(列名)只包括列名那一列,在统计结果的时候,会忽略列值为空(这里的空不是只空字符串或者0,而是表示n
hive中order by、distribute by、sort by和cluster by的区别和联系
order byorder by 会对数据进行全局排序,和oracle和mysql等数据库中的order by 效果一样,它只在一个reduce中进行所以数据量特别大的时候效率非常低。而且当设置 :set hive.mapred.mode=strict的时候不指定limit,执行select会报错,如下:LIMIT must also be specified。 sort bysort
java中的switch case语句
switch-case语句格式如下:switch(变量){ case 变量值1: //; break; case 变量值2: //...; break; &nbs
jstat命令查看jvm的GC情况 (以Linux为例)
jstat命令可以查看堆内存各部分的使用量,以及加载类的数量。命令的格式如下: jstat [-命令选项] [vmid] [间隔时间/毫秒] [查询次数] 注意!!!:使用的jdk版本是jdk8. 类加载统计: Loaded:加载class的数量Bytes:所占用空间大小Unloaded:未加载数量Bytes:未加载占用空间Time:时间&n
java中的switch case语句
switch-case语句格式如下:switch(变量){ case 变量值1: //; break; case 变量值2: //...; break; &nbs
利用python的KMeans和PCA包实现聚类算法
题目: 通过给出的驾驶员行为数据(trip.csv),对驾驶员不同时段的驾驶类型进行聚类,聚成普通驾驶类型,激进类型和超冷静型3类 。 利用Python的scikit-learn包中的Kmeans算法进行聚类算法的应用练习。并利用scikit-learn包中的PCA算法来对聚类后的数据进行降维,然后画图展示出聚类效果。通过调节聚类算法的参数,来观察聚类效果的变化,练习调参。数据介绍: 选取某一个驾
IntelliJ IDEA使用教程
这个编辑器我就不再多做介绍了。直接开始新建maven hello world 的Java web项目啦你电脑上得有jdk1.7,或者1.8,然后就是maven3.x吧,再有就是tomcat7以上吧。还得有我这个编辑器。这些是准备条件下面就直接开始看图啦:这个我刚刚开始没注意细看,原来web app 的骨架有2个呢,我一开始一直选择的是第一个,因为搜索的时候,一直以为匹配结果就一个,后来才发现下面的
Linux常用命令大全(非常全!!!)
最近都在和Linux打交道,感觉还不错。我觉得Linux相比windows比较麻烦的就是很多东西都要用命令来控制,当然,这也是很多人喜欢linux的原因,比较短小但却功能强大。我将我了解到的命令列举一下,仅供大家参考:系统信息arch 显示机器的处理器架构uname -m 显示机器的处理器架构uname -r 显示正在使用的内核版本dmidecode -q 显示硬件系统部件 - (SMBIOS /
学前端好找工作吗
首先,不管是自学或者是参加Web前端培训班学习将来的目的都是就业,早晚都需要面对这个问题,很多因素都影响了最终能不能找到一份满意的工作,比如自身技术水平、求职的时间、求职的地点等等都是息息相关的。Web前端是一个技术型岗位,需要拥有充分的技术储备才能在工作中胜任,所以求职者的技术能力是决定求职好坏的关键因素,说到技术水平就离不开大家学习Web前端知识的途径和方式,对于自学的人来说,首先很难有效的把