-
编辑 删除
常用机器学习算法汇总(中）
上一篇文章介绍了线性回归、逻辑回归、决策树和随机森林四种算法，本文会继续介绍四种算法--SVM、朴素贝叶斯、KNN 以及 kmean 算法，其中最后一种是无监督学习的聚类算法，前面三种也是非常常见的算法，特别是 SVM，在 2012 年 AlexNet 网络的成功之前，一直都是…
-
编辑 删除
R语言信用评分卡：拒绝推断（5） 特征工程B
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。知乎专栏：R语言数据挖掘 邮箱：huang.tian-yuan@qq.com.欢迎合作交流。相关连接：HopeR：R语言信用评分卡：拒绝推断（1） 问题定义HopeR：R语言信用评分卡：拒绝推断…
-
编辑 删除
常用机器学习算法汇总比较(上）
前面六篇文章从一个项目的终极目标、寻找和获取数据，到数据预处理，做特征工程，接下来就需要开始选择合适的算法模型，进行训练评估和测试了。 因为篇幅问题，主要简单介绍每个算法的基本原理，优缺点等，以及为了保证每篇文章不会太长，可能会分成两篇或者三篇来介绍。 1. 线性回归 这种函数…
-
编辑 删除
R语言信用评分卡：拒绝推断（4） 特征工程A
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。知乎专栏：R语言数据挖掘 邮箱：huang.tian-yuan@qq.com.欢迎合作交流。相关连接：HopeR：R语言信用评分卡：拒绝推断（1） 问题定义HopeR：R语言信用评分卡：拒绝推断…
-
编辑 删除
R语言信用评分卡：拒绝推断（3） 特征筛选B
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。知乎专栏：R语言数据挖掘 邮箱：huang.tian-yuan@qq.com.欢迎合作交流。相关连接：HopeR：R语言信用评分卡：拒绝推断（1） 问题定义HopeR：R语言信用评分卡：拒绝推断…
-
编辑 删除
特征工程(完）
这也是特征工程系列最后一篇文章，介绍特征提取、特征选择、特征构建三个工作，通常特征工程被认为分为这三方面的内容，只是我将前面的数据&特征预处理部分都加入到这个系列。 实际上，特征工程其实是非常需要通过实践才能更好掌握这个技能的，单纯看理论，理解不够深入，实际应用到项目或者比赛中…
-
编辑 删除
R语言信用评分卡：拒绝推断（2） 特征筛选A
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。知乎专栏：R语言数据挖掘邮箱：huang.tian-yuan@qq.com.欢迎合作交流。 相关链接：HopeR：R语言信用评分卡：拒绝推断（1） 问题定义 前文提要：Hope现在作为金融风控分…
-
编辑 删除
R语言信用评分卡：拒绝推断（1） 问题定义
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。知乎专栏：R语言数据挖掘 邮箱：huang.tian-yuan@qq.com.欢迎合作交流。最近受到：吊车尾：第三届融360天机-智能金融算法挑战赛多场景金融赛题--TOP1方案吊车尾：第三…
-
编辑 删除
特征工程之特征缩放&特征编码
本篇文章会继续介绍特征工程的内容，这次会介绍特征缩放和特征编码，前者主要是归一化和正则化，用于消除量纲关系的影响，后者包括了序号编码、独热编码等，主要是处理类别型、文本型以及连续型特征。 特征缩放主要分为两种方法，归一化和正则化。 归一化(Normalization)，也称为标…
-
编辑 删除
R语言小技巧：WINDOWS下找文件路径
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流 R语言在数据导入的时候，总是需要设置文件所在路径，或者直接提供文件的绝对路径。但是在微软Windows系统中复制粘贴的文件…
-
编辑 删除
R语言ETL工程：集合运算（intersect/union/setdiff）
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流集合运算与连接其实有相似之处，但是连接是针对特定列（主键）来对表格进行连接，而集合运算则直接对记录（entry）进行运算…
-
编辑 删除
特征工程之数据预处理（下）
上篇文章介绍了如何处理缺失值和图片数据扩充的问题，这篇文章会介绍另外两种情况，处理异常值和类别不平衡的问题。 异常值分析是检验数据是否有录入错误以及含有不合常理的数据。忽视异常值的存在是十分危险的，不加剔除地把异常值包括进数据的计算分析过程中，对结果会产生不良影响。 异常值是指…
-
编辑 删除
特征工程之数据预处理（上）
由于篇幅问题，所以这篇文章先介绍如何处理缺失值和图片数据扩充的问题，下一篇文章会介绍处理异常值和类别不平衡的问题。 何为特征工程呢？顾名思义，就是对原始数据进行一系列工程处理，将其提炼为特征，作为输入供算法和模型使用。 本质上讲，特征工程是一个表示和展现数据的过程；实际工作中，…
-
编辑 删除
[资源推荐] 必须收藏的两个查找论文和代码实现的网站！
无论是研究方向是 AI 方面的学生，或者是做机器学习方面的算法工程师，在掌握基础的机器学习相关知识后，都必须掌握搜索论文的技能，特别是研究或者工作领域方向的最新论文，更进阶一点的技能，就是可以复现论文的算法，这是在论文作者没有开源代码的时候的一个解决办法，但是在能够掌握这项技能…
-
编辑 删除
R语言爬虫相关包一览
推荐：rvestRSelenium待查：RCrawler辅助：httr/RCurlrjson/jsonlite/RJSONIORWebdriver
-
编辑 删除
爬虫技术学习：路在何方？
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流 利益相关：近日放假终于有时间玩爬虫，有幸得到"天善智能"赠课崔庆才老师的Python爬虫视频课，配合崔庆才的《Python 3网络…
-
编辑 删除
R语言爬虫：登录账号密码爬虫
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流 使用rvest爬虫的时候，有的时候需要账号和密码，但是不知道在R环境中怎么登录然后再爬，所以要寻找一定的办法。今天看一个…
-
编辑 删除
R语言小技巧：文件路径正反斜杠转换
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流 苦恼我多年的R语言路径问题，今天稍微解决一下。WINDOWS系统中，路径都是以反斜杠形式存在的。比如：C:\Users\Hope\Deskto…
-
编辑 删除
Python-100 练习题 02
这道题目可以根据每个奖金发放区间来分界，先分别定义两个数组，一个数组是存放每个区间奖金的提成比例，记为rat；另一个数组是记录每个发放区间的上边界，表示当超过该边界时候，直接利用上边界乘以该区间的提成比例，例如对于在 10 万元以下的这个区间，就是上边界为 10 万，然后超过后…
-
编辑 删除
Python-100 练习题 01 & 列表推导式
最近打算好好练习下 python，因此找到一个练习题网站，打算每周练习 3-5 题吧。 另外，这个网站其实也还有 Python 的教程，从基础到高级的知识都有。 最简单的方法，就是穷举法了，分别求出在百位、十位、个位上的数字，然后剔除出现重复数字的组合，剩余的就是答案了。 输出…
