-
编辑 删除
R语言信用评分卡：拒绝推断（1） 问题定义
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。知乎专栏：R语言数据挖掘 邮箱：huang.tian-yuan@qq.com.欢迎合作交流。最近受到：吊车尾：第三届融360天机-智能金融算法挑战赛多场景金融赛题--TOP1方案吊车尾：第三…
-
编辑 删除
特征工程之特征缩放&特征编码
本篇文章会继续介绍特征工程的内容，这次会介绍特征缩放和特征编码，前者主要是归一化和正则化，用于消除量纲关系的影响，后者包括了序号编码、独热编码等，主要是处理类别型、文本型以及连续型特征。 特征缩放主要分为两种方法，归一化和正则化。 归一化(Normalization)，也称为标…
-
编辑 删除
R语言小技巧：WINDOWS下找文件路径
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流 R语言在数据导入的时候，总是需要设置文件所在路径，或者直接提供文件的绝对路径。但是在微软Windows系统中复制粘贴的文件…
-
编辑 删除
R语言ETL工程：集合运算（intersect/union/setdiff）
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流集合运算与连接其实有相似之处，但是连接是针对特定列（主键）来对表格进行连接，而集合运算则直接对记录（entry）进行运算…
-
编辑 删除
特征工程之数据预处理（下）
上篇文章介绍了如何处理缺失值和图片数据扩充的问题，这篇文章会介绍另外两种情况，处理异常值和类别不平衡的问题。 异常值分析是检验数据是否有录入错误以及含有不合常理的数据。忽视异常值的存在是十分危险的，不加剔除地把异常值包括进数据的计算分析过程中，对结果会产生不良影响。 异常值是指…
-
编辑 删除
特征工程之数据预处理（上）
由于篇幅问题，所以这篇文章先介绍如何处理缺失值和图片数据扩充的问题，下一篇文章会介绍处理异常值和类别不平衡的问题。 何为特征工程呢？顾名思义，就是对原始数据进行一系列工程处理，将其提炼为特征，作为输入供算法和模型使用。 本质上讲，特征工程是一个表示和展现数据的过程；实际工作中，…
-
编辑 删除
[资源推荐] 必须收藏的两个查找论文和代码实现的网站！
无论是研究方向是 AI 方面的学生，或者是做机器学习方面的算法工程师，在掌握基础的机器学习相关知识后，都必须掌握搜索论文的技能，特别是研究或者工作领域方向的最新论文，更进阶一点的技能，就是可以复现论文的算法，这是在论文作者没有开源代码的时候的一个解决办法，但是在能够掌握这项技能…
-
编辑 删除
R语言爬虫相关包一览
推荐：rvestRSelenium待查：RCrawler辅助：httr/RCurlrjson/jsonlite/RJSONIORWebdriver
-
编辑 删除
爬虫技术学习：路在何方？
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流 利益相关：近日放假终于有时间玩爬虫，有幸得到"天善智能"赠课崔庆才老师的Python爬虫视频课，配合崔庆才的《Python 3网络…
-
编辑 删除
R语言爬虫：登录账号密码爬虫
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流 使用rvest爬虫的时候，有的时候需要账号和密码，但是不知道在R环境中怎么登录然后再爬，所以要寻找一定的办法。今天看一个…
-
编辑 删除
R语言小技巧：文件路径正反斜杠转换
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流 苦恼我多年的R语言路径问题，今天稍微解决一下。WINDOWS系统中，路径都是以反斜杠形式存在的。比如：C:\Users\Hope\Deskto…
-
编辑 删除
Python-100 练习题 02
这道题目可以根据每个奖金发放区间来分界，先分别定义两个数组，一个数组是存放每个区间奖金的提成比例，记为rat；另一个数组是记录每个发放区间的上边界，表示当超过该边界时候，直接利用上边界乘以该区间的提成比例，例如对于在 10 万元以下的这个区间，就是上边界为 10 万，然后超过后…
-
编辑 删除
Python-100 练习题 01 & 列表推导式
最近打算好好练习下 python，因此找到一个练习题网站，打算每周练习 3-5 题吧。 另外，这个网站其实也还有 Python 的教程，从基础到高级的知识都有。 最简单的方法，就是穷举法了，分别求出在百位、十位、个位上的数字，然后剔除出现重复数字的组合，剩余的就是答案了。 输出…
-
编辑 删除
机器学习入门系列(2)--如何构建一个完整的机器学习项目(一)
上一篇机器学习入门系列（1）--机器学习概览简单介绍了机器学习的一些基本概念，包括定义、优缺点、机器学习任务的划分等等。 接下来计划通过几篇文章来介绍下，一个完整的机器学习项目的实现步骤会分为几步，最后会结合《hands-on-ml-with-sklearn-and-tf》的例…
-
编辑 删除
R语言ETL工程：连接（join）
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流本章将会介绍如何在R中完成数据表的连接操作。首先要明确一个问题：为什么要进行连接？本质上来说，连接就是按照一定的对应…
-
编辑 删除
R语言ETL工程：分组（group_by）
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流本章会讲解如何对数据进行分组。首先我们要明确一点，就是为什么要分组，实际应用的场景是什么？ 如果我们现在有一个学校，…
-
编辑 删除
程序员的数学笔记3--迭代法
第三节课程，介绍的是迭代法。 迭代法，简单来说，其实就是不断地用旧的变量值，递推计算新的变量值。 这里采用一个故事来介绍什么是迭代法，这个故事是讲述一个国王要重赏一个做出巨大贡献的臣子，让臣子提出他想得到的赏赐，这个聪明的臣子说出了他想得到的赏赐--在棋盘上放满麦子，但要求是每…
-
编辑 删除
R语言自然语言处理：情感分析
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流 前文参考：HopeR：R语言自然语言处理：中文分词HopeR：R语言自然语言处理：词性标注与命名实体识别HopeR：R语言自然语言处…
-
编辑 删除
[Github 项目推荐] 一个更好阅读和查找论文的网站
机器学习发展到现在，已经积累了非常多的文章，特别是深度学习火起来后，每年新增加的论文非常多，如果需要研究某个领域，不仅需要阅读这个领域经典的论文，也必须时刻关注最新的学术进展，比如最近两年特别火的 GAN，不仅需要先了解它的第一篇开山之作--"Generative Advers…
-
编辑 删除
R语言文件批处理：批量复制粘贴文件
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流 任务需求：我现在有一个文件夹，文件夹有很多子文件夹。每个子文件夹里面都有一个pdf文件，我需要把这些pdf全部提取出来放…
