-
编辑 删除
去IOE or Not?
去IOEorNot这个材料大概写于2014年，当时刚好是去IOE浪潮，当当和京东大战，京东和苏宁大战，淘宝双11遥遥领先，时至Hadoop初兴，MPP发展强劲，各种SSD卡层出不穷，PC服务器已压倒小机，通信运营商也在规划大数据未来的建设，当然部分省份已经先行；自己也在思考这个问题，结合自己所经历过
-
编辑 删除
Oracle-SQL高级语法
结构化查询语言(StructuredQueryLanguage)简称SQL，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。结构化查询语言是高级的非过程化编程语言，允许用户在高层数据结构上工作。它不要求用户指定对数据的存放方法，也不需要用户了
-
编辑 删除
一条SQL语句的优化
今天同事反馈ETL数据抽取很慢，并且用的DBLINK来做数据抽取，慢到什么程度呢？大概要执行2~3小时，很久没搞过Oracle了，很多技能都已经生疏了，抱着试试完的心态，决定帮这个忙；后来经过优化，运行速度到了2分钟级别，其实还有优化的空间，算了，就这样吧。现在讲讲相关优化过程。1、了解背景情况让厂
-
编辑 删除
一条SQL语句的优化
今天同事反馈ETL数据抽取很慢，并且用的DBLINK来做数据抽取，慢到什么程度呢？大概要执行2~3小时，很久没搞过Oracle了，很多技能都已经生疏了，抱着试试完的心态，决定帮这个忙；后来经过优化，运行速度到了2分钟级别，其实还有优化的空间，算了，就这样吧。现在讲讲相关优化过程。1、了解背景情况让厂
-
编辑 删除
Oracle导出文本文件的三种方法
一、常见的spool方法二、UTL_FILE包方法三、sqluldr2工具为了构建导出文本文件，先做点准备工作1、扩充表空间ALTERTABLESPACEDAMS_DATAADDDATAFILE'C:\Oracle\oradata\orcl\DAMADATA2.DBF'SIZE500MAUTOEXT
-
编辑 删除
关于neo4j图数据库笔记三-初见成效
前两个部分尝试了一下neo4j和py2neo的基本语法，证实了图库在运维实体中实现的可行性，先对数据结构做了一下调整，在服务器节点上增加了label，主要用来区别数据库还是应用服务器，在访问关系中也增加了源和目标的label值，主要是考虑到数据库和应用还是有很大区别的，数据库可以是多个业务系统的数据
-
编辑 删除
关于neo4j图数据库笔记二-py2neo使用
neo4j是个图数据库，所有的数据库都要通过语言去访问，一个封闭的系统是没有意义的，在python里也提供了基于neo4j的package，不过使用最广的还是py2neo，提供对图库的连接和增删改查操作，本文也遵循这个思路，先从基本语法做起，后面才慢慢丰富完善，至少先看到一些成果。还是一句话，网上的
-
编辑 删除
关于neo4j图数据库笔记一
关于neo4j图数据库一、关于neo4j图数据库的下载、安装和配置1、下载，建议从官网下载社区版本ftp://neo4j.55555.io/neo4j/3.5.12/neo4j-community-3.5.12-windows.zipftp://neo4j.55555.io/neo4j-doc/3.
-
编辑 删除
关于neo4j图数据库笔记四-交往圈和六度模型
六度理论是一个数学领域的猜想，名为SixDegreesofSeparation，理论指出：你和任何一个陌生人之间所间隔的人不会超过六个，也就是说，最多通过6个中间人你就能够认识任何一个陌生人。这就是六度分割理论，也叫小世界理论。交往圈无论是在运营商还是在社交平台都发挥着举足轻重的作用，但交往圈由于其
-
编辑 删除
关于neo4j图数据库笔记六-电影库和最短路径问题
知识图谱在工商企业、交往圈模型、系统架构、血缘关系、关联聚合场景、区域最短路径上都能发挥很大的作用，本笔记也只是简单的介绍了一下，介绍到此为止。上述的场景的数据来源都来自于关系型数据，想让知识图谱发挥更大的作用，就必须靠自然语言处理，挖掘文本内部的关系，从而把非结构化数据转换为半结构化或结构化数据；
-
编辑 删除
关于neo4j图数据库笔记五-工商企业图谱
工商企业图谱对于如何高效识别风险企业或法人、股东是一件极其有帮助的一件事，其实工商企业图谱数据的来源有很多，比如天眼查、企查查、百度百科，当然更专业的是上交所，深交所的各种企业公开资料，在此仅为尝试neo4j的各种用法而已。本文给出了计算某企业控股和被控股的出入度计算CREATE(中化集团:公司{名
-
编辑 删除
从数据仓库到大数据平台再到数据中台
现在各种新名词层出不穷，顶层的有数字城市、智慧地球、智慧城市、城市大脑；企业层面的有数字化转型、互联网经济，数字经济、数字平台；平台层面的有物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱；技术层面的有数据仓库、数据集市、大数据平台、数据湖、数据中台、业务中台、技术中台等等，总之
-
编辑 删除
关于python排序算法可视化二
关于排序算法可视化只是简单在原来代码后追加了十几行代码，排序算法的可视化重要的是matplotlib.animation.FuncAnimation函数，该函数有几个重要的参数，一个是图表面板，一个是动画播放回调函数，一个数据帧，一个是初始化函数。关键在于数据帧这一块，一种办法是生成所有待播放的数据
-
编辑 删除
关于python排序算法可视化一
排序算法可视化，包含了两个部分，一个是排序算法，一个是可视化。排序算法本身就是个大难题，包括冒泡排序，选择排序，插入排序，希尔排序，归并排序，快速排序，基数排序，堆排序，计数排序，桶排序，可惜我只会冒泡排序，呵呵，不过希望能够硬着头皮学习一下。算法还包括空间复杂度，时间复杂度，稳定性等等。可视化方案
-
编辑 删除
关于重温机器学习笔记-线性模型
由于高等数学底子太差的原因，机器学习总是无法深入学习下去，只能做一个简单的尝试者，甚至连调优也未必能算的上，不过这样也好，可以把重心放到对业务的理解上，以及业务和模型的选择上。线性模型包括了传统的线性回归、岭回归、Lasso回归，主要用于连续值的预测；逻辑回归虽然也是回归，但却是一种分类方法；LDA
-
编辑 删除
关于pyecharts可视化中国经济、人口等数据
首先pyecharts是个可视化的好工具，pyecharts已做了变更目前是1.6.2版本，但工具的灵活运用学习过程还是很痛苦的。其次通过pandas处理数据集问题，在pandas进行数据清洗转换汇总过滤不是不可能，但学习曲线有点长，因此采用read_sql，通过数据库来进行数据转换，某些地方还是用
-
编辑 删除
关于重温机器学习笔记-线性模型
由于高等数学底子太差的原因，机器学习无法深入学习下去，只能做一个简单的尝试者，甚至连调优也未必能算的上，不过这样也好，可以把重心放到对业务的理解上，以及业务和模型的选择上。线性模型包括了传统的线性回归、岭回归、Lasso回归，主要用于连续值的预测；逻辑回归虽然也是回归，但却是一种分类方法；LDA线性
-
编辑 删除
关于新型肺炎数据分析和可视化系列笔记四-sklearn实现数据预测
本文通过sklearn实现新型肺炎累计确诊病例的预测，主要算法包括线性回归，逻辑回国，多项式回归（二次曲线、三次曲线、四次曲线、五次曲线）等算法，具体到预测，主要包括算法的选择，很多时候算法的选择是通过数据的查全率查准率，训练集、测试集、检验集等上的准确率综合评估出来的，二是关于数据集的分拆，需要拆
-
编辑 删除
关于新型肺炎数据分析和可视化系列笔记三-pyecharts实现地图和趋势图
数据的可视化更多的是数据的格式化和准备工作，互联网上关于海南地图的展现绝大多数是不全的，所以本笔记的主要难点在于数据的转换，列表中根据字典日期对字典数据的排序，对列表中数据的过滤，对同义词数据的翻译，其次是pyecharts的使用，pyecharts进入了1.0版本，新引入了链式访问，在map上也尝
-
编辑 删除
关于新型肺炎数据分析和可视化系列笔记二-获取各省历史数据
新找到关于各省各地市的日历史数据接口，为了避免不必要的麻烦，把对方的接口地址已屏蔽，下载的历史数据也仅供学习和参考；现在的所有数据已收集完成。接下来是关于可视化部分，可视化有几种方式，第一种是matplotlib和basemap，但basemap的包一直无法下载，第二种是geopandas，但GDA
