-
编辑 删除
算法题，容器盛水
前几天看到阿里数据公众号有个技术题， 刚一开始以为结束了，一问还有最后一天，刚开始本想用sql来解答了，因为工作中，很难碰到烧脑的内容，不锻炼锻炼自己怕脑子不够使， 当时感觉比较容易，但sql想了下一些公用变量的东西不好弄，因此，还是决定用java来完成它，毕竟，java中的变量中的地址传递还是比较好弄的。题目请...
-
编辑 删除
数仓体会之（布署升级脚本与文档）
在项目现场，经常看到运维人员对一些布署升级文档的理解不到位而导致在这过程中出现很多问题，运维人员觉得文档写的不够清楚，操作流程不够详细，而编写文档的研发人员则抱怨运维人员技术水平不够，基本技能不够等等，在此，本着解决问题的态度谈谈一些看法。 一，我们的脚本运行环境尽量一致，能在服务器下运行的...
-
编辑 删除
数仓体会之（分区与索引）
--------------------有些坑，我早已跳过，但，槽跳了，坑也要继续跳 ，在此记录些工作的杂七八的事此内容限于oracle数据库进行讨论。针对目前个人在实施数据仓库中，发现索引及分区基本上没有套路，基本是想怎么玩就怎么玩，而且基本是由于后期查询速度慢，然后是随意的添加索引，一个表十多二十个索引都随处可见...
-
编辑 删除
mysql的sql排名
一直感觉oracle分析函数强大，总觉得mysql中缺少太多类似函数， 但发现，mysql中引入sql中的变量，使得sql可能非常的灵活，这几天做一个排名的内容，当1，2，3名成绩相等时，他们都是第二名， 当第4，5名相等时他们都是4.5名。才下列出一些代码，通过排序然后把变量赋值于上一行的值，然后计算，感觉变量的引...
-
编辑 删除
2016年的小结
2016对我来说是比较特殊的一年，08年前从南昌转战北京，而八年后又从北京回到南昌，彷徨、纠结、不甘心等等因素，但最终还是回了南昌。入职xx已有四个来月，在此作个简短总结。1，江西企业所得税管理系统遗留问题的解决及新需求的开发。至少，解决了局方抱怨的态度，或许后期能够引入二期之类。但在这个过程中，其实...
-
编辑 删除
utl_http.req 使用
由于应用使用缓存，当晚上数据加工后，可能第二天查看的数据还是缓存中的数据，由于通过设置缓存时间周期不好掌握，因此决定在oracle中跑完数据后调用一个清理缓存的url进行强制清缓存，存储过程大概这个样子create or replace procedure p_aa_test is http_req utl_http.req;begin ...
-
编辑 删除
我的思维杂货铺
---这里没有附加的子标题1,javaBean的生成 大概时间：2005年， 场景：很多时候数据转对象是一个常见的操作， 过程：可以解析数据库中的表结构生成，但erwin中设计字段大小写及一些注释描述比较丰富。解析数据库设计文件（erwin生成的xml文件），生成对应的jav...
-
编辑 删除
曾经我给领导的一封信
今天翻开电脑，无意间发现这个，创建时间是 2013/8/29，时间总是过的太快。不得不说，骏彩是我呆过最舒服的一个公司，不是说里面的轻松，而是做事方式的严谨，让做技术的人踏实，虽然离开了，在此还是祝曾经的小伙伴们都开心快乐。尊敬的领导： 我是骏彩一名员工，工作闲暇之...
-
编辑 删除
Spark商品关联推荐
数据如下 1001 1,2,3 1002 1,2 1003 1,3 1004 1,4 1005 4 说明：第一个字段代表一个用户， 后面的代表这个用户一下买了这些商品，比如 1001买了1，2，3这三个产品， 因此，我们认为这3个产品两两是有相关性的， 通过这些日志，想得到任意两产品的相关性是多少，这样的话，可以根据相关性大的进...
-
编辑 删除
oracle中listagg在spark中mr的实现
Listagg有以下数据（设定为表t,字段分别为a,ba abc 6a acd 2a af 3b bb 4b bd 5b be 1针对sql select a,listagg(b,'|') within group (order by c ) aa from t group by a那么用spark实现主要思路为排序及分组拼...
-
编辑 删除
针对一些spark中算子的学习
有以下数据（设定为表t,字段分别为a,b aa 11 bb 11 cc 11 bb 11 ...
-
编辑 删除
第3届SQL编程大赛思路
由ITPUB社区举办的第3届“盛拓传媒杯”SQL数据库编程大赛日前落下帷幕，这是一个很好的活动，SQL比赛一般都为一个sql来完成，这不只是要求一个人的sql水平，个人思维、算法，以及逻辑推理也十分重要，当通过你的思路把它转换为sql后完成时，是一种收获，再这之上，或许会发现还有很多更好的...
-
编辑 删除
棋手的概率问题
这是 PUZZLEUP 2014 的15题 ，ITPUB的oracle开发版有一专门的帖子There are 24 players in a chess tournament. 8 teams participated with 2 players , and 8 teams participated with 1 player. For the 12 matches in the first round, the pairings will be drawn randomly. What is the probability that at le...
-
编辑 删除
oracle 多列unpivot及unpivot 使用
这是一个复杂的例子，想对它有一个深入的使用，那仔细看看吧点击(此处)折叠或打开create table TT_TEST2( allup_level NUMBER(2), cross_flag NUMBER(1), book_id NUMBER(10), &nb...
-
编辑 删除
瘦化拉链表
由于前期分析不到位，导致缓慢变化维表增长速度过快，影响查询性能，分析发现只是由于一些无关紧要的字段变化产生此类数据，因此，要实现拉链表的瘦化，例如，有一个表tb_aa(pk_id,a,b,c,d,e,start_date,end_date),pk_id是源表主键，原先是根据a,b,c,d,e这些字段做的拉链，导致数据量过大，目前通过分析，只需要a,b,c进...
-
编辑 删除
手写数据数字识别
题目看这里，http://f.dataguru.cn/thread-171808-1-1.htmlhttp://f.dataguru.cn/group-125-1.html 一个很有意思的竞赛题，由于本人R语言半途而废了，因此，用java来进行的识别。最后结果，只能识别六成左右。而R语言采用训练集方式，都达到九成多了个人思想：1，点阵生成二维矩阵，以一定值进行黑白降燥。2，...
-
编辑 删除
我的自画像，呵呵
&...
-
编辑 删除
数据抽取程序
由于工作中经常要清库、导数据，且还要两数据库同时对比进行，因此，花点小时间写了个数据库与数据库，数据与文件之间迁移的工具，配件简单，以excel为模板，个人感觉还是比较方便的，oracle及sql server测...
-
编辑 删除
shell电子显示屏
今天闲着没事，就不知怎么想着写一个类似电子显示屏的跑马灯效果，目前实现，先由java把输入的字符串转为点阵数组，存于一文件，后shell读此文件，每隔0.1秒刷新显示，shell也就几行代码.......下载地址http://vdi...
-
编辑 删除
彩票数据分析
目标：（官话）彩票分析目标只是想健康有效的长期发展彩票事业，希望参与的人广而平均投入的金额少，不影响社会的和谐发展。说白了，就是国家以一种方式收钱，但让大家别因为此跳楼抱怨之类的，自愿方式手段：1，...
