-
编辑 删除
关于2020年个人公众号总结
回到公众号上来吧，还是坚持两字，虽然没什么太大起色，但至少坚持了下来，关注的朋友也持续在增加，自己写的文章也越积累越多，2020年也写了近100篇，也有偷懒的时候从老博客上转载过来的，涉及的范围包括数据治理、中台、数据库、人工智能等等。
-
编辑 删除
关于2020年个人公众号总结
回到公众号上来吧，还是坚持两字，虽然没什么太大起色，但至少坚持了下来，关注的朋友也持续在增加，自己写的文章也越积累越多，2020年也写了近100篇，也有偷懒的时候从老博客上转载过来的，涉及的范围包括数据治理、中台、数据库、人工智能等等。
-
编辑 删除
新八股文-QC材料
今天要写QC大纲，首先要了一堆项目的材料，又接手了一些只言片语，然后想破脑袋，自己跟自己头脑风暴，自己把自己推倒了好几轮，终于在材料、现实、系统和八股文之间找到了平衡，花了一下午算是把提纲写好了。QC是我最不喜欢碰的一个题材，基本没有什么自由发挥空间，实在有点过于八股文了。八股文是明清考试制度所规定
-
编辑 删除
关于数据库架构的一段旧文
10年前曾经面试过金蝶的数据库架构师，当时好像给到20K左右，Offer已经发了，却因为种种原因没去成，这段材料应该是为当时准备的。《黄帝内经》中提出“上医治未病，中医治欲病，下医治已病”《史记·扁鹊列传》，司马迁有“使圣人预知微，能使良医得早从事，则疾可已，身可活也”之说。《鹖冠子》中曾有魏文王问
-
编辑 删除
关于时间管理
从5月25日开始列了22项大大小小的工作任务，几项个人任务，截止5月28日已完成了18项工作任务，2项因前序任务原因推迟到下周，还剩1项重要任务周五解决。看起来整体完成率还算不错，绝大多数任务都是协调或跑腿的，还有一些督办的。时间管理是个老生常谈的事情，最著名的时间管理专家莫过于罗志祥老师。“百度百
-
编辑 删除
Pytorch学习之torch基本用法
pytorch的一个基本概念是张量，张量也可以称为多维矩阵。例如，标量：为0维张量向量：为1维张量矩阵：为2维张量.......张量除了有维度、大小和元素个数之外，还有元素的类型张量有大量的初始化方法，可以和list以及numpy数组进行转换此外张量还有大量的计算函数如下：from__future_
-
编辑 删除
关于数据中台建设之思考
个人理解：数据中台就是数据服务化，服务化的核心是数据模型化和服务组件化，服务化的基础是大数据平台和数据仓库。感谢itpub的组织，第一次在B站视频直播分享！itpub作为中国国内数据库的黄埔军校，培养了不少DBA，请大家继续关注，多多支持！本文根据ITPUB技术栈直播「数据中台建设」之思考演讲实录整
-
编辑 删除
关于数据仓库中复杂报表SQL语句的写法
在数据仓库的基本报表制作过程中，通常会使用SQL作为数据源，可是普通的SQL实在不适合处理一些较为复杂的逻辑判断；一般而言，待查询的数据类型主要包括日期型、数字型、字符串这三类数据类型；在报表查询界面前段，实际上会对查询的数据作一些缺省处理，例如有些字段可输可不输，输入的字段需要按照输入的内容进行查
-
编辑 删除
Excel图表和数据分析
十年前写的，从今天看起来之前的想法还是比较幼稚的。从理论指导角度，数据分析可以划分为基于统计学的和基于数据挖掘的数据分析方法，很显然基于统计学的相对容易理解一些，而数据挖掘对高等数学要求会高一些，相信毕业十几年的同学很可能连A*X**2+B*X+C=0都快忘记了，甚至我不确定等小孩上了初中能不能教的
-
编辑 删除
数据库审计方案(包括login,logout,DML,DDL等)
数据库审计方案(包括login,logout,DML,DDL等)如下：数据库审计方案(包括login,logout,DML,DDL等)/*===============================================================================||
-
编辑 删除
关于python正则表达式场景收集（三）
本期收录正则表达式场景包括HTML解析和CSV解析，主要是匹配(）中的内容，当然例子比较简单，复杂的类似css、class等解析建议还是通过专业的html解析包来解决。如下：importrehtml_regex_dict={'tr':r'<tr>(.*?)</tr>','th
-
编辑 删除
一次大数据分析模型实践分享
2015年底在dbaplus上做的一次大数据分析模型的分享，现摘录出来。目录猫池介绍终端识别模型日间隔预警模型关于数据挖掘，我给大家分享的案例是猫池终端识别模型和日间隔预警模型。当然作为运营商一般是自己很少全程参与的，但这两个模型基本上从需求定义、指标选取、指标确认、挖掘算法、模型结果确认和优化是我
-
编辑 删除
关于python正则表达式场景收集（二）
本期收录正则表达式场景包括整数、IP和URL、身份证和邮编、账号密码合法性判断，部分经过测试后做了修改和完善，绝大多数正则表达式还是有很多优化空间的，关于?=之类的断言目前还谈不上掌握，慢慢摸索吧。代码示例importreregex_dict={'整数':'(^(\-|\+)?[1-9][0-9]*
-
编辑 删除
关于数据的可视化-直方图和二维频次直方图
就像将一维数组分为区间创建一维频次直方图一样，我们也可以将二维数组按照二维区间进行切分，来创建二维频次直方图。一维直方图主要用hist来展示，二维的关系可以用散点图、多hist叠加、hist2d或seaborn来展现，seaborn的主要数据类型是pandas，因此需要转换，又复习了一下Numpy转
-
编辑 删除
关于python正则表达式场景收集（一）
最近在研究数据质量校验规则，这个规则要确保数据录入的有效性校验，这个靠单纯的SQL或数据库正则表达式难以实现，python正则表达式可以有效解决这个问题，目前还在持续整理中。记录了一下，re.search和re.match的匹配位置不太一样，通过字典方式形成质量规则，后期再结合数据库数据进行匹配，把
-
编辑 删除
关于数据挖掘关联规则的Oracle实现
呵呵，前几天拿到了数据挖掘基础教程一书，感觉部分算法是基于统计学的原理的，而统计学是可以通过Oracle来实现。关于数据挖掘关联规则的介绍，可以参见：http://baike.baidu.com/view/1076817.htm?fr=ala0_1关联规则是形如X→Y的蕴涵式，其中且，X和Y分别称为
-
编辑 删除
关于数据迁移的方法、步骤和心得
十年前写的，那时候经历过几次数据迁移，然后写了出来，现在看看还是比较稚嫩的。在项目中经常会遇到系统完全更换后的历史数据迁移问题，以示对客户历史工作的尊重，何况很多数据仍有保留的必要。那怎么做历史数据迁移呢？系统分析：1、分析原有的业务系统精确到大致的系统功能模块、大致的处理流程即可2、分析现有的业务
-
编辑 删除
关于树形目录的一段javascript代码
2004年时候写的，javascript出来的时间不久，没那么多框架和现成的模板，当时比较流行树形目录展现层级数据，但那棵目录树有几万个节点，而且层级不是固定的，并且要求点击叶子节点选中所有直接父节点，点击父节点选中所有子节点，当时完全基于javascript写的，每次点击节点进行遍历，响应一下需要
-
编辑 删除
Oracle分析函数、多维函数简单应用
十年前写的，关于Oracle分析函数、多维函数简单应用，主要针对BI报表统计，不一定很全面，但对BI应用场景做了少许说明。以下代码均经过测试，可直接运行。代码示例--创建一张销售数量表，数据趋势是递增的CREATETABLEComputerSalesASSELECT120+TRUNC(rn/12)+
-
编辑 删除
机器学习之线性回归
机器学习大体上分为分类算法、聚类算法、降维算法、回归算法，其中分类、聚类主要用来处理离散变量预测，降维是数据预处理的方法，回归主要用来处理连续变量预测。前面基于鸢尾花数据集进行了各种分类、聚类、降维，后续该学习一下线性回归了。不过还是决定暂时放弃一段时间，先恶补一下跟线性回归相关的算法、数据分布、正
