Spark源码分析(1) RDD是什么
RDD是Spark的基础,是对大数据的抽象,所以先破解Spark,首先从RDD开始。* RDD 是什么?有什么特点?* RDD 包含什么?* RDD 能做什么?RDD的注释org.apache.spark.rdd.RDD类源代码中有详细的注释:AResilientDistributedDataset(RDD),thebasicabstractioninSpark.翻译:弹性的分布式数据集是Spar
Java序列化与反序列化
一、什么是Java序列化和反序列化?有什么作用?1、什么是序列化和反序列化。指的是Java中的对象序列化和反序列化。序列化指对象---
Vue vs React: Javascript 框架之战
正如我们之前提到的,WordPress的核心团队正争论着为应该将哪款(前端框架)加入现在的架构之中。目前看来,暂时脱颖而出的是React与Vue.js,社区中的很多成员正权衡着这两款框架的利弊。那到底哪款框架会胜出,哪款框架又会沦为昔日的prototype.js.呢?让我们一起看看吧。我已经写出了两个几乎一样的Web应用,一个是基于Vue,另一个则基于React,可以方便你在看这篇文章的时候查找相
Java-函数式编程(二)Lambda表达式
“Lambda表达式”(lambdaexpression)是一个匿名函数,Lambda表达式基于数学中的λ演算得名,直接对应于其中的lambda抽象(lambdaabstraction),是一个匿名函数,即没有函数名的函数。Lambda表达式可以表示闭包(注意和数学传统意义上的不同)。认识lambda?publicstaticvoidmain(String[]args){ newThread
数据挖掘概述
数据挖掘是指在大量的数据中挖掘出信息,通过认真分析来揭示数据之间有意义的联系、趋势和模式。而数据挖掘技术就是指为了完成数据挖掘任务所需要的全部技术。金融、零售等企业已广泛采用数据挖掘技术,分析用户的可信度和购物偏好等。大数据研究采用数据挖掘技术,但是数据挖掘中的短期行为较多,多数是为某个具体问题研究应用技术,还无统一的理论。传统的数据挖掘技术在数据维度和规模增大时,所需资源呈现指数级增长,所以对P
Java 之 Comparable vs Comparator
Comparable和Compator都是用于给集合排序的接口,但是他们之间的区别是什么呢。Comparable:这个接口只有一个方法compareTo。比如我们想通过年龄给用户排序,那么我们的用户要实现Comparable接口的方法,假如一旦要通过用户的评分进行排序,我们就必须要修改compareTo方法。//o是要比较的对象//返回负数,小于要比较的对象//返回0,等于要比较的对象//返回正数
linux性能监控分析
最近在使用jmeter进行性能压力测试的时候,发现自己还是对linux的相关性能判断不能进行分析,所以在网上找了一些资料,结合自己的理解,总结了如下对linux性能分析:CPU、内存、负载的监控使用htop命令进行分析,安装htop的命令为:yuminstall-yhtop,如下我的虚拟机的htop命令截图如下:左上部分为:cpu、内存和swap的使用情况,此虚拟机从图中可以看出内存为3G、cpu
如何快速学习一门语言的50%
现在的开发工作要求我们能够快速掌握一门语言。一般来说应对这种挑战有两种态度:其一,粗粗看看语法,就撸起袖子开干,边查Google边学习;其二是花很多时间完整地把整个语言学习一遍,做到胸有成竹,然后再开始做实际工作。然而这两种方法都有弊病。第二种方法的问题当然很明显,不仅浪费了时间,偏离了目标,而且学习效率不高。因为没有实际问题驱动的语言学习通常是不牢固不深入的。有的人学着学着成了语言专家,反而忘了
《前端之路》之 高级技巧、高阶函数(一)
一、高级函数1-1安全的类型检测想到类型检测,那么脑海里第一反应应该就是在Javascript的世界中到底有哪些类型(这真的是一个非常古老的问题了)我们大致分为 2 类: 基本类型 和 引用类型其中 基本类型 包括了: string、number、bool、undefined、null其中 引用类型 包括了: Array、Function、Object那我们用type和instanceof分别来看
JS的instanceof到底是有多坑?
instanceof填坑说instanceof就不得不顺带说一下typeof,请跟着。typeoftypeof操作符返回一个字符串,表示未经计算的操作数的类型。就这么几种类型:number、boolean、string、object、undefined、function、symbol。typeof1//"number"typeof'1'//"string"typeoftrue//"boolean"
把List<T>转换为DataTable
下面这个学习,把List转换为Datatable。下面先创建一个对象T: class Ay { private int _ID; public int ID { get { return _ID; } set { _ID = value; } } private string _
Python进阶08 异常处理
异常处理在项目开发中,异常处理是不可或缺的。异常处理帮助人们debug,通过更加丰富的信息,让人们更容易找到bug的所在。异常处理还可以提高程序的容错性。我们之前在讲循环对象的时候,曾提到一个StopIteration的异常,该异常是在循环对象穷尽所有元素时的报错。我们以它为例,来说明基本的异常处理。一个包含异常的程序:re = iter(range(5))for i in range(100):
小清新调色教程
-前言-小清新的照片是比较讨喜的一种风格。小清新三要素是简洁、明亮、色彩统一,后期调整只要按照三要素的要求来对图片进行调整就可以了。-小清新调整-我们来看看原图原图给人的感觉就已经不错了,但是如果要往小清新方面调整,还是需要作出一定的修改。小清新三要素首先是简洁,我们可以把墙壁上不重要的圆圈去掉,地面上的水渍去掉,并且通过二次构图,让画面元素更简洁。①打开snapseed,导入图片选择修复画笔工具
css爆炸级操作(2018-10-09)
本文介绍有关css的一些技巧以及一些比较另类的用法,有些情景完全可以避开使用Javascript,单纯的css就可以完美实现一、基础1.复位推荐大家使用reset.css*{box-sizing:border-box;margin:0;padding:0;}2.重置表单样式移除各个浏览器之间的差异性,然后自定义样式input,button,select,textarea{appearance:no
python类中super()和__init__()的区别
最近有同学问我关于Python类中的super()和__init__()共同点和不同点的问题,我今天把它们两个的异同点总结了一下,希望可以帮助遇到同样困惑的同学。单继承时super()和__init__()实现的功能是类似的class Base(object): def __init__(self): print 'Base create'class childA(Base):
几种简单的文本数据预处理方法
下载数据:http://www.gutenberg.org/cache/epub/5200/pg5200.txt将开头和结尾的一些信息去掉,使得开头如下:Onemorning,whenGregorSamsawokefromtroubleddreams,hefoundhimselftransformedinhisbedintoahorriblevermin.结尾如下:And,asifinconfir
MySQL中基本的用户和权限管理方法小结
MySQL默认有个root用户,但是这个用户权限太大,一般只在管理数据库时候才用。如果在项目中要连接MySQL数据库,则建议新建一个权限较小的用户来连接。在MySQL命令行模式下输入如下命令可以为MySQL创建一个新用户:?1CREATEUSERusernameIDENTIFIEDBY'password';新用户创建完成,但是此刻如果以此用户登陆的话,会报错,因为我们还没有为这个用户分配相应权限,
wampserver下mysql导入数据库的步骤
你的xxx.db里面如果都是sql语句的话,那么跟着我说的做,假如你的库名叫mydb1.进入mysql命令行因为你是wampserver,那么就cmd进入dosmysql-uroot-p之后提示输入密码成功进入2.建库(如果库已经存在,略过这一步)createdatabasemydb;3.选库usemydb;4.导入数据(这里假定你的xxx.db在E:test目录下)sourceE:testxxx
区块链游戏开发交易平台搭建
基于区块链的游戏开发、区块链交易平台开发、区块链炒币软件开发 Thedevelopmentofgamesbasedonblockchainingtechnologyhasbeenregardedasoneofthedevelopmentdirectionsofglobalgamepractitioners.Asaresult,theChinaJoyconferencewillfirstsetu
正则表达式后行断言 • 探索 ES2018 和 ES2019
RegExp后行断言本章将解释由GorkemYakin,NozomuKatō,DanielEhrenberg等人给出的RegExp后行断言(LookbehindAssertion)提案。一个先后行断言(LookaroundAssertion)是正则表达式中的一个构造,明确了当前位置的前后字符序列,但没有其他副作用。亦称为零宽断言(Zero-widthAssertion)。当前JavaScript唯