gollum:轻量级的wiki系统
gollum是什么?gollum的readme上有句最简单的描述很直白:Agit-basedWiki。个人认为github,jekyll,gollum可以并称为码农的三大神器,github用来敲代码,jekyll用来写技术博客,gollum用来搭建自己的知识管理wiki系统。很巧合的是部门用goll
几封读者来信的回复
趁着中秋期间,终于能抽一些闲暇的时间(感谢我的太太),集中整理了一下邮件。有朋友邮件问到自己正在从事、或即将进入数据科学领域时,碰到的困惑。再回想,这几年也经常面试候选人,每当我以抱歉结束时,很多为候选人也问过很多类似的问题。那我在这篇博文里集中回答一下。第一位统计背景的同学,邮件的问题如下:(省略
R和redis的联合使用
redis作为强大的Key-Value服务,如何和R进行结合,这里做一些简单的记录redis安装redis安装非常简单,几乎不用管什么依赖关系:wgethttp://download.redis.io/releases/redis-x.x.x.tar.gztarxzfredis-x.x.x.tar.
关联规则的常用算法
关联规则(associationrules)是一种广泛使用的模式识别方法,比如在购物篮分析(MarketbasketAnalysis),网络连接分析(Weblink),基因分析。我们常常提到的购物篮分析,它的典型的应用场景就是要找出被一起购买的商品集合。关联规则的可能的应用场景有:优化货架商品摆放,
使用Emacs编辑markdown文件
陆陆续续尝试使用Emacs已经该有7、8回了,每次都受不了它繁琐的Ctrl和Meta组合键,但最近不知道哪根筋出了问题,不但编辑器迅速的切换到了Emacs,甚至操作系统也从Win7平滑到了Ubuntu。以下记录一些关于Emacs、markdown、Ubuntu、ssh乱七八糟的东东。开源体系下,我的
矩阵分解的一般性解法
矩阵分解技术是推荐系统常用的技术之一,它的变种出现在很多算法都有涉及。这里先不做展开,对于最基本的矩阵分解技术做一些原理和代码解释。矩阵分解的数学原理首先约定一下符号,对于用户(users)的集合U,以及商品的集合D,用R来表示用户商品信息的共现(U\timesD)矩阵。我们现在想找出K个潜在的特征
用 OpenBLAS 加速 R 的矩阵运算
话说2010年我和鸟兄去豆瓣做一个技术交流,阿稳现场展示了并行化计算的R环境,矩阵运算瞬间跑满了所有的CPU,当时让我羡慕不已。多年之后在第六届R语言会议上,张先轶为大家展示了他们负责跟进研发的开源线性代数计算库OpenBLAS,这个库建立在已经停止开发的GotoBLAS2上,对IntelSandy
协同过滤和推荐引擎
推荐系统在个性化领域有着广泛的应用,从技术上讲涉及概率、抽样、最优化、机器学习、数据挖掘、搜索引擎、自然语言处理等多个领域。东西太多,我也不准备写连载,今天仅从基本算法这个很小的切入点来聊聊推荐引擎的原理。推荐系统的策略推荐引擎(系统)从不同的角度看有不同的划分,比如:按照数据的分类:协同过滤、内容
第六届中国 R 语言会议流水帐
预热5月16日(周四),西直门到达西直门已经是八点多,见到舰哥已经是快九点,但是还是兴致勃勃地畅谈了国内R语言发展和商业化问题,以及国内比较奇葩的数据环境,包括国内某xx所在将SAS换代为R的种种“事迹”,各种吐槽各种感慨……又简单聊了聊中文环境下的文本挖掘,准备和舰哥合作写一个,争取后半年空出时间
R 语言企业级数据挖掘应用
三月底参加了中国人民大学统计学院海峡两岸数据挖掘研讨会,和大家简单聊了聊R语言在京东商城的数据挖掘应用。本来想接着写篇博文说明一下,一直也没腾出时间,今天补上。为什么要使用R语言在互联网企业,在分析端使用闭源的商用软件几乎是不可能的,原因很简单:成本太高,不管是使用,还是研发及维护。但我个人觉得这可
如何准备演讲(beamer版)
一般来说,大家喜欢使用微软的产品PowerPoint(PPT)来做幻灯片演示,但我对它基本没有什么好感,基本观点是认为它既不Power也没有Point。当然不喜欢它也是有原因的:15分钟的汇报需要搞很久才能达到好的一个效果。对于习惯使用LaTeX的我来说,beamer是一个非常不错的选择,除了动画稍
好地段是怎么选出来的-从北京地铁看区域的重要性
2012年最后一天,北京新开了四条地铁线,分别是6号线的一期、8号线一期的南段、9号线的北段、10号线二期。这几条地铁极大的方便了市民的出行。鉴于北京地方台1号一整天都在介绍地铁开通的情况,不写点东西有点对不起北京市民的称呼,于是胡言乱语了如下文字。增加这几条线路之后,北京地铁现在的形状是这样的:好
RHive的安装和用法
RHive是一种通过HIVE高性能查询来扩展R计算能力的包。它可以在R环境中非常容易的调用HQL,也允许在Hive中使用R的对象和函数。理论上数据处理量可以无限扩展的Hive平台,搭配上数据挖掘的利器R环境,堪称是一个完美的大数据分析挖掘的工作环境。环境配置(配置部分是同事搞定的,只记录一些细节)R
闲话彩票的误区
前段时间应朋友之邀请,在新华社某个栏目做了一期小节目,主题是彩票可不可以作为投资手段?正好,借着这个机会说说大家对彩票的误区。先说说公正性在国际上彩票的各期投注结果是需要进行随机性验证的,一般的验证由高校的研究所主导,一般来说大概会有上百种统计方法来验证彩票开奖的随机性,并随时发布在官方网站上供民众
明朝那些事儿的那些事儿
前段时间同事推荐《明朝那些事儿》,正好上班路上无聊,于是下载了电子版通读了一下。果然,作为汉族最后一个王朝——大明的历史非常有意思,各种不可思议,各种匪夷所思。个人觉得作者的确有功底,但精彩还是来源于辉煌壮丽的明史。职业习惯,顺手把《明朝那些事儿》中所有的人物关系绘制一下,正好作为明史的温习:仅在这
生活在云的世界里
这是一篇凑数博客,囧~很多人都是办公电脑和私人电脑各一台,很多时候需要同步在两地的数据,比如文件啊、标签啊、笔记啊啥的。这时候云存储的应用就有用武之地了。下面介绍一下我常用的三款数据同步应用。evernote这款产品适用于电脑、手机、网页间的笔记同步,是一款收集碎片知识的利器。什么信息都可以向上丢,
并行化你的运算-初识parallel包
R2.14.0版本以后,parallel包被作为核心包引入R,这个包主要建立在multicore和snow包的工作基础之上,包含了这两个包大部分功能函数,以及集成了随机数发生器。实际上对于R来说,并行化可以在不同的层级上实现:比如,在最底层,现在的多核CPU可以实现一些基础的数值运算(比如整数和浮点
2012年数据挖掘软件使用调查
第13期KDnuggets关于数据挖掘软件的调查结果新鲜出炉,调查了对于过去的12个月里实际的项目过程中使用了哪些数据挖掘(分析)软件?不出所料,底层语言使用频率最高的是依旧是R语言、SQL、Java和Python。而从软件工具角度上看,R、Excel和RapidMiner则名列三甲(去年R排名第二
天下没有不散的筵席
在我还没回过神的时候,今年的R语言会议北京场己经结束,伴随着早上迷糊的送走李舰,意味着这次相聚终于曲终人散。本来我不是伤感的人,但今天看到怡轩师弟的一句微博:感谢几位引路人。@谢益辉@刘思喆@雁起平沙@thinkfan这个中滋味……这些年,和周围的朋友们一起成长,一起为了一个目标努力。大家同分享,同
费波那西数列和递归
前段时间在老家给小舅子补习高中数学,其中有一道数列的求解,题目是这样的:a_1=1</li>a_2=1</li>a_n=a_(n-1)+a_(n-2)</li>求a_n的通项表达。解题思路是先构建等比数列b_n,再将等比数列b_n变形回a_n,求得通项。这道题实际