sql索引的总结
这几天通过阅读sql索引的概述和索引的原理对这两篇文章做一个总结。首先来简述一下什么是索引,索引相当于书的目录,它可以对特定值快速查找与定位。索引在SQL优化中占了很大的比重,索引用的好,查询效率会有很大的提升,但索引并不只会提升查询效率,相反索引运用不当也会降低查询效率。在一般情况下,数据量少的情
5 款非常好用的开源 Docker 工具,get一波~
本文同步Java知音社区,专注于Java作者:ShekharGulatihttp://dzone.com/articles/5-docker-utilities-you-should-know导读Docker社区已经创建了许多开源工具,它们能帮我们处理各种用例。作者在本文中推荐了5款认为最有用的Do
R语言机器学习笔记(四):mlr模型训练
作者:黄天元,复旦大学博士在读,热爱数据科学与开源工具(R),致力于利用数据科学迅速积累行业经验优势和科学知识发现,涉猎内容包括但不限于信息计量、机器学习、数据可视化、应用统计建模、知识图谱等,著有《R语言高效数据处理指南》(《R语言数据高…
R语言机器学习笔记(三):mlr学习器定义
作者:黄天元,复旦大学博士在读,热爱数据科学与开源工具(R),致力于利用数据科学迅速积累行业经验优势和科学知识发现,涉猎内容包括但不限于信息计量、机器学习、数据可视化、应用统计建模、知识图谱等,著有《R语言高效数据处理指南》(《R语言数据高…
R语言机器学习笔记(二):mlr任务定义
作者:黄天元,复旦大学博士在读,热爱数据科学与开源工具(R),致力于利用数据科学迅速积累行业经验优势和科学知识发现,涉猎内容包括但不限于信息计量、机器学习、数据可视化、应用统计建模、知识图谱等,著有《R语言高效数据处理指南》(《R语言数据高…
R语言机器学习笔记(一):mlr总纲
作者:黄天元,复旦大学博士在读,热爱数据科学与开源工具(R),致力于利用数据科学迅速积累行业经验优势和科学知识发现,涉猎内容包括但不限于信息计量、机器学习、数据可视化、应用统计建模、知识图谱等,著有《R语言高效数据处理指南》(《R语言数据高…
tidyfst的benchmark来了
作者:黄天元,复旦大学博士在读,热爱数据科学与开源工具(R),致力于利用数据科学迅速积累行业经验优势和科学知识发现,涉猎内容包括但不限于信息计量、机器学习、数据可视化、应用统计建模、知识图谱等,著有《R语言高效数据处理指南》(《R语言数据高…
Docker 学习资源整理
Docker是近年来非常火的容器技术,而且啊Docker不仅仅是红帽和Canonical等Linux巨头眼里的宠儿,微软等专有软件公司也在热烈拥抱Docker,所以就知道Docker为啥这么火了。我相信有很多人对Docker感兴趣,都想学学Docker,毕竟天天听、毕竟这么火、毕竟技多不压身呐,因此
程序员应聘/面试相关整理
其实想做这个整理很久了,因为自己经历过毕业季的招聘,那时候真想有人能够指点一二,最近也有人在问这个面试,所以趁此机会整理一些应聘、面试相关的文章和资源,毕竟真的有太多太多人写了太多太多很好的这类型的文章了,我按照我的思维方式整理一些吧,希望对大家有所帮助~一、面试前的准备:作为程序员的面试,我就不整
如何应对线上故障
线上故障是我们技术同学经常遇到,也是技术成长中经常要经历的事。从故障中我们可以吸取到很多教训,变得越来越有经验。但是并不是每一个团队/技术同学在应对故障的处理方式上,都能做到合理和科学。下面就从工作中遇到的实际情况,结合最近读陈皓文章心得,来聊一聊我对线上故障处理的看法。故障发生时的处理:1、快速定
聊聊区块链
在聊区块链(Blockchain)之前,我先推荐两本书,《区块链从数字货币到信用社会》、《区块链技术驱动金融》。前一本是属于概念普及型,适合概览的去了解区块链,从区块链的基础到智能合约、以及应用都全面的进行了介绍,通俗易懂。后面一本就稍微深入一些,讲解了基本技术原理、算法、生态,但读起来也没有什么门
大数据之数据采集
大数据体系一般分为:数据采集、数据计算、数据服务、以及数据应用几大层次。在数据采集层,主要分为日志采集和数据源数据同步。日志采集根据产品的类型又有可以分为:浏览器页面的日志采集客户端的日志采集浏览器页面采集:主要是收集页面的浏览日志(PV/UV等)和交互操作日志(操作事件)。这些日志的采集,一般是在
技术负责人所需的这四个核心能力,你具备几个?
「技术负责人」这一称呼其实比较泛了。往大了讲,可以指CTO、技术VP、技术总监,往小了讲,可以指小组Leader、技术主管、架构师等。这些不同岗位的「技术负责人」在工作中会处理着各不相同的问题,因此对他能力要求的侧重点肯定也是不同的。比如,CTO/技术VP是需要有全面的综合能力,具有公司战略、研发体
架构设计之「服务隔离」
我们在做系统架构设计的时候,经常离不开的一个话题就是进行服务的隔离设计。那什么是「服务隔离」呢?顾名思义,它是指将系统按照一定的原则划分为若干个服务模块,各个模块之间相对独立,无强依赖。当有故障发生时,能将问题和影响隔离在某个模块内部,而不扩散风险,不波及其它模块,不影响整体的系统服务。其实隔离设计
架构设计之「服务限流」
上一篇我们聊过了架构设计中的「服务隔离」模式,今天我们继续来探索一下在分布式系统架构中的另一个常用的设计:服务限流。那么,什么是「服务限流」呢?在解释「服务限流」之前,我们来看一下前些时间网上很火的一个段子,说的是新浪微博的一名工程师正在家里办婚礼,突然接到公司的电话要紧急处理线上流量激增的问题,那
从拜占庭将军问题看:区块链「 共识算法 」
假如你是古代某个国家的将军,你们国家除了你以外,还有另外9个将军,每个将军带领着一支军队,总共10支军队,这10支军队在地域上分散驻扎。你们国家想要进攻一个强大的敌国,这个敌国也有一定的实力,足以抵御你们5支军队的同时袭击。因此你们10支军队必须要成一致意见,起码要大部分军队达成一致,才可顺利的消灭
揭秘区块链的核心技术之「哈希与加密算法 」
大家都知道,区块链的关键技术组成主要为:P2P网络协议、共识机制、密码学技术、账户与存储模型。而这些技术中,又以密码学与共识机制这两点为最核心。那么今天我们来详细的聊一聊密码学,看一看密码学技术是如何在区块链中应用的。首先,我们需知道区块链中用到的密码学算法有哪些?其实就两大类:哈希算法非对称加密算
缓存服务的更新策略有哪些?
在互联网项目开发中,缓存的应用是非常普遍了,缓存可以帮助页面提高加载速度,减少服务器或数据源的负载。1、为什么需要缓存?一般在项目中,最消耗性能的地方就是后端服务的数据库了。而数据库的读写频率常常都是不均匀分布的,大多情况是读多写少,并且读操作(select)还会有一些复杂的判断条件,比如like、
数据库的这些性能优化,你做了吗?
在互联网项目中,当业务规模越来越大,数据也越来越多,随之而来的就是数据库压力会越来越大。我们可能会采取各种方式去优化,比如之前文章提到的缓存方案,SQL优化等等,除了这些方式以外,这里再分享几个针对数据库优化的常规手段:「数据读写分离」与「数据库Sharding」。这两点基本上是大中型互联网项目中应
架构师带你玩转分布式锁
大多数互联网系统都是分布式部署的,分布式部署确实能带来性能和效率上的提升,但为此,我们就需要多解决一个分布式环境下,数据一致性的问题。当某个资源在多系统之间,具有共享性的时候,为了保证大家访问这个资源数据是一致的,那么就必须要求在同一时刻只能被一个客户端处理,不能并发的执行,否者就会出现同一时刻有人