Greenplum集群部署小记
Greenplum的分布式架构方案MPP对于海量数据处理还是很给力的,今天专门抽时间搭建了一下测试环境。首先来简单看下Greenplum的架构,这个和Oracle,MySQL还是大不同。它里面几乎糅括了所有的主从角色概念,比如GP节点就类似于一个集群分发器,是有standby的角色的,数据节点是segment,是有prima...
不要做”积极废人”
确切的说,我算是一个积极废人。最近对我来说有几个思想上大的进步,虽然看起来很简单,但是能够彻底的接受和全新接受,还是需要一些时间的。第一个是对于RESTful的思想,从最近的一些实践和使用情况来看,对系统的设计和模块间轻耦合是有很大的帮助的。最开始的时候自己...
React技术初识
前端框架哪家强,如果没理解错,应该是React,Angular,VUE。记得去年的时候,和我一个老同学聊天,他是一个架构师,偏向于后端开发,但是发现他已经在入手React技术了,而且做得风风火火,我对React有所耳闻,基本是一句话简介的了解。因为我的重心还不打算在前端做很多投入,所以就只是问问而已,就此作罢。...
我们的圈子还是有限
今天对我来说,深有感触的是百度陆奇的消息。看到很多人来揣测分析他隐身而退的原因,我反而更加关注在这一年的时间里,他做了哪些,关注了哪些,对我来说,抛开娱乐八卦的外衣,这些是能够留给我的东西。我看了几篇相对还算中性的分析,读得真是酣畅淋漓。读完之后有三点感受。深...
通过shell脚本检测MySQL服务信息
今天改了一版脚本,对于MySQL的基本信息的获取有了一个相对比较清晰的收集方式。我简单解释下脚本。整体是分为两部分第一部分是通过系统层面来解析MySQL的基本信息,方式是通过ps -ef|grep mysql得到的信息来解析。第二部分是通过登录MySQL得到的信息,基本信息包括serve...
使用Flask构建简单的RESTful服务
我们现在的一个项目是使用Django来构建,说来也是基于技术扩展的考虑,我对于Django里面大而全的一些组件还是持有保守态度,所以虽然项目用了Django,但是对于很多组件的使用都是尽可能少用或者不用,这样一来虽然前期清苦些,但是从现在来看,由于依赖很低,我可以匹配很多种其他的方案。...
React技术初识
前端框架哪家强,如果没理解错,应该是React,Angular,VUE。记得去年的时候,和我一个老同学聊天,他是一个架构师,偏向于后端开发,但是发现他已经在入手React技术了,而且做得风风火火,我对React有所耳闻,基本是一句话简介的了解。因为我的重心还不打算在前端做很多投入,所以就只是问问而已,就此作罢。...
不要做”积极废人”
确切的说,我算是一个积极废人。最近对我来说有几个思想上大的进步,虽然看起来很简单,但是能够彻底的接受和全新接受,还是需要一些时间的。第一个是对于RESTful的思想,从最近的一些实践和使用情况来看,对系统的设计和模块间轻耦合是有很大的帮助的。最开始的时候自己...
运维开发里的数据动态获取和自动补录
在运维平台的设计中,目前有两套系统是并存,并行发展的,其中一部分原因是涉及的业务不同,关注点不同。所以在设计CMDB的部分时,最开始我是整合了已有的实现,把系统层的指标和数据都录进去了,即录入元信息需要录入数据库层面,系统层面,应用层面等等。显然这不是一个好方法。如果内存是8G我录入错...
知识付费的时代
大家应该听说过金字塔的模型,这是美国缅因州的国家训练实验室研究成果,它用数字形式形象显示了不同的学习方式,学习者在两周以后还能记住内容(平均学习保持率)的多少。虽然这个实验的结果是1940年左右的数据,但是对于我们学习来说,这个依然有很强的参考意义。特意说这个话题,是因为我...
逻辑,问题到底在哪里?
先说件我生活里面的事儿吧。现在我在孩子面前会刻意不去看电脑,而是拿几本书过去,在她面前装模做样的看看书,孩子还没有养成好的读书习惯,总是在我看书的时候打断我,一会让我陪他看书,一会在我肚子上跳跳,总之要看书也是一个毅力活,当然我觉得随着时间的增长,这个习惯也会潜移默化的成为她的习惯。...
DTCC 2018大会归来
参加了几次DTCC大会,从历史记录中找到了几年前的文字,看起来依旧青涩。DTCC第一天归来(r5笔记第8天)DTCC 2015归来随感(r5笔记第10天)DTCC大会归来(r12笔记第61天)技术大会其实带给我们很多的启示,有些收获是技术上的,有些是业务发展上的,还有些是职业生涯上的。参...
go语言学习初体验
我们暂时先抛开go语言,咱们说下行业里近两年的哪些技术发展最火,毫无疑问是Docker和Kubernetes,没错,他们是go语言的顶级项目。go语言在Google内部孵化,并有了很大的用武之地,和作者的权威也是分不开的。三位作者分别是:Robert Griesemer, Rob Pike 和 Ken Thompson。Robert...
MyCAT中的DDL
今天开发同学提了一个需求,是希望对某一个时间范围的表做DDL操作,看起来好像复杂度也不高。但是我一看开发同学提供的信息时就有点犹豫了,因为端口是8066,也就意味着使用了中间件。这是一套MyCAT的环境,一共有4个节点,每个节点拆分成了4个逻辑节点,所以有16个sharding分片,正是应了那句话:百库...
本周搞几件事情,说说你的计划吧
我发现提前“吹牛“可以督促我完成预期目标,所以我们要勤立计划,计划不能太大,“假大空”,“大而全”都不可取。先来说下最近的心路历程,然后开始明确下周的计划,如果感兴趣,有些事情可以互相借鉴和参考。最近每到下班的时候,都会想起孩子还在家里,如果能提前回家陪她玩一会该有多好...
MySQL中的自增列
MySQL的自增列情况比较特殊,之前分析了两篇。MySQL自增列主从不一致的测试(r12笔记第37天)MySQL自增列的重复值问题(r12笔记第25天)而且在OOW的时候也着重提了一下自增列的历史遗留问题。十年前的老问题,MySQL 8.0有了答案当然基于MySQL自增列的实现,确实是...
儿童世界的一点解读
先把我们所说的儿童世界做一个收敛。首先讨论的问题不是一个类似塑造梦想一样的伟大过程,儿童的世界是极富有创造力的,但是里面存在诸多的不确定因素。所以我们在此的讨论不是像Tesla那般炫酷的项目,而是对某一个具体场景的简单理解。第二我们这里所说的儿童世界,其实是一个小型的社会活动...
通过贝叶斯公式来评估功能难度和返工率
今天抽空翻了下概率论的内容,突然发现大学学的东西都忘光了。原来概率论第一课就学了贝叶斯公式,但是我感觉离我好遥远,于是本着认真学习的态度,以实践应用出发巩固了下自己的基础。要看概率的内容,需要明确的一点是对于如下的关系要首先能够理解,这个和数据库里学习的集合的概念是很相似的,截图...
专注三说-感悟
专注这个字眼其实每隔一段时间就会自然而然的走进我的思考范围,每次想到这个话题,都会有一些生活和工作中的事情触动我,把他们联系起来,慢慢发现,在慢慢悟道的路上,其实随行的人有很多,随性的也很多,要么随波逐流,要么渐行渐远。前两次思考专注这个话题,写了两篇简单的总结:说专注...
shell的参数和脚本流程改进
今天痛下决心,把事务的工作一定要使用平台来做,时间短,任务紧,之前的运维开发是铺了一个面,每个面都做一些相关的事情,所以工作整体看都有进展,但是最后没有一个专注的功能。所以我就在想到底是怎么回事,我能不能专注一些,哪怕就实现一个简单的功能,把它做好做透,其他的功能是不是能够同样复...