-
编辑 删除
机器学习入门系列(2)--如何构建一个完整的机器学习项目(一)
上一篇机器学习入门系列（1）--机器学习概览简单介绍了机器学习的一些基本概念，包括定义、优缺点、机器学习任务的划分等等。 接下来计划通过几篇文章来介绍下，一个完整的机器学习项目的实现步骤会分为几步，最后会结合《hands-on-ml-with-sklearn-and-tf》的例…
-
编辑 删除
R语言ETL工程：连接（join）
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流本章将会介绍如何在R中完成数据表的连接操作。首先要明确一个问题：为什么要进行连接？本质上来说，连接就是按照一定的对应…
-
编辑 删除
R语言ETL工程：分组（group_by）
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流本章会讲解如何对数据进行分组。首先我们要明确一点，就是为什么要分组，实际应用的场景是什么？ 如果我们现在有一个学校，…
-
编辑 删除
程序员的数学笔记3--迭代法
第三节课程，介绍的是迭代法。 迭代法，简单来说，其实就是不断地用旧的变量值，递推计算新的变量值。 这里采用一个故事来介绍什么是迭代法，这个故事是讲述一个国王要重赏一个做出巨大贡献的臣子，让臣子提出他想得到的赏赐，这个聪明的臣子说出了他想得到的赏赐--在棋盘上放满麦子，但要求是每…
-
编辑 删除
R语言自然语言处理：情感分析
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流 前文参考：HopeR：R语言自然语言处理：中文分词HopeR：R语言自然语言处理：词性标注与命名实体识别HopeR：R语言自然语言处…
-
编辑 删除
[Github 项目推荐] 一个更好阅读和查找论文的网站
机器学习发展到现在，已经积累了非常多的文章，特别是深度学习火起来后，每年新增加的论文非常多，如果需要研究某个领域，不仅需要阅读这个领域经典的论文，也必须时刻关注最新的学术进展，比如最近两年特别火的 GAN，不仅需要先了解它的第一篇开山之作--"Generative Advers…
-
编辑 删除
R语言文件批处理：批量复制粘贴文件
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流 任务需求：我现在有一个文件夹，文件夹有很多子文件夹。每个子文件夹里面都有一个pdf文件，我需要把这些pdf全部提取出来放…
-
编辑 删除
R语言自然语言处理：文本向量化——词嵌入（Word Embedding）
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流 前文参考：HopeR：R语言自然语言处理：中文分词HopeR：R语言自然语言处理：词性标注与命名实体识别HopeR：R语言自然语言处…
-
编辑 删除
R语言ETL工程：创建字段（mutate）
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流 知乎的bug，一直没有办法正确上传本章节，所以就直接给出R代码了。不过CSDN貌似可以正确显示，该兴趣可以直接过去看（R语…
-
编辑 删除
R语言ETL工程：汇总（summarise）
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流本章讲解如何使用summarise函数完成数据的汇总。在开讲之前，我们需要理解，什么叫做汇总。举个例子，如果我们现在对学校的…
-
编辑 删除
R语言信用评分卡：数据分箱（binning）
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流library(knitr) opts_chunk$set(eval = F)在做信用评分卡的时候，很重要的一个环节就是特征工程。在学习了WOE、IF这些概念…
-
编辑 删除
程序员的数学笔记2--余数
上一节程序员的数学笔记1--进制转换是介绍了进制，特别是十进制和二进制之间的转换，移位操作和逻辑操作。 今天介绍的是余数，看完本节笔记，你会发现生活中有很多东西都有余数的影子。 整数是没有边界的，它可能是正无穷，也可能是负无穷。 **但余数却总是在一个固定的范围内。**假如除数…
-
编辑 删除
R语言自然语言处理：关键词提取与文本摘要（TextRank）
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在工业界与学术界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流关于提取关键词的方法，除了TF-IDF算法，比较有名的还有TextRank算法。它是基于PageRank衍生出来的自然语言处理算法，是一…
-
编辑 删除
R语言自然语言处理：关键词提取（TF-IDF）
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在业界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流本文希望诠释如何利用TF-IDF方法对文本中的关键词进行提取。关键词提取的输入是一大段文本材料，输出是少数的关键词。比如我们日常看…
-
编辑 删除
程序员的数学笔记1--进制转换
最近在学习极客时间的课程--程序员的数学基础课。 这是第一节课程的学习笔记--有关进制的转换。 二进制则采用 2 作为基数，它的数位是的形式。例如二进制数字110101，它转换为十进制的表示过程如下： 根据这个思路，八进制（以 8 为基数）和十六进制（以 16 为基数）等计数方…
-
编辑 删除
R语言自然语言处理：词性标注与命名实体识别
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在业界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流原理简介在之前的文章中（R语言自然语言处理：中文分词）介绍了如何利用jiebaR来做中文分词，这次希望研究如果利用R语言来做词性标注…
-
编辑 删除
R语言自然语言处理：中文分词
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在业界的应用。邮箱：huang.tian-yuan@qq.com. 欢迎合作与交流。R有很多自然语言处理的包，但是大多是针对英文的。中文来做NLP的包，经过长期探索，认为目前要做中文的NLP，首推jiebaR包。本文…
-
编辑 删除
[资源]基于 Pytorch 的 TorchGAN开源了！
之前推荐过一个基于 TensorFlow 的 GAN 框架--谷歌开源的 GAN 库--TFGAN。 对于 TorchGAN 的安装，官网给出 3 种方法，但实际上目前仅支持两种安装方式，分别是pip方式安装以及源码安装，采用conda安装的方法目前还不支持。 这是目前版本还不…
-
编辑 删除
R语言信用评分卡：探索性数据分析
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在业界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流 本文为了迭代一个探索性数据分析的通用模式，首先使用银行信贷数据进行探索性数据分析，希望能够得到一个通用的强大探索性解决方案。…
-
编辑 删除
R语言ETL系列：过滤（filter）
作者：黄天元，复旦大学博士在读，热爱数据科学与R，热衷推广R在业界的应用。邮箱：huang.tian-yuan@qq.com.欢迎合作交流本章节介绍如何根据条件对表格进行过滤，主要使用filter函数进行实现。 首先加载需要的包和数据，我们会用到R语言自带的mtcars数据集…
