R语言自然语言处理:中文分词
作者:黄天元,复旦大学博士在读,热爱数据科学与R,热衷推广R在业界的应用。邮箱:huang.tian-yuan@qq.com. 欢迎合作与交流。R有很多自然语言处理的包,但是大多是针对英文的。中文来做NLP的包,经过长期探索,认为目前要做中文的NLP,首推jiebaR包。本文…
[资源]基于 Pytorch 的 TorchGAN开源了!
之前推荐过一个基于 TensorFlow 的 GAN 框架--谷歌开源的 GAN 库--TFGAN。 对于 TorchGAN 的安装,官网给出 3 种方法,但实际上目前仅支持两种安装方式,分别是pip方式安装以及源码安装,采用conda安装的方法目前还不支持。 这是目前版本还不…
R语言信用评分卡:探索性数据分析
作者:黄天元,复旦大学博士在读,热爱数据科学与R,热衷推广R在业界的应用。邮箱:huang.tian-yuan@qq.com.欢迎合作交流 本文为了迭代一个探索性数据分析的通用模式,首先使用银行信贷数据进行探索性数据分析,希望能够得到一个通用的强大探索性解决方案。…
R语言ETL系列:过滤(filter)
作者:黄天元,复旦大学博士在读,热爱数据科学与R,热衷推广R在业界的应用。邮箱:huang.tian-yuan@qq.com.欢迎合作交流本章节介绍如何根据条件对表格进行过滤,主要使用filter函数进行实现。 首先加载需要的包和数据,我们会用到R语言自带的mtcars数据集…
R与Python或协同助力机器学习:听Azure ML Studio讲座有感
作者:黄天元,复旦大学博士在读,热爱数据科学与R,热衷推广R在业界的应用。邮箱:huang.tian-yuan@qq.com.欢迎合作交流 周末参加了《微软云社区Global AI Bootcamp 2018—上海站》的活动,尽管没有拿到什么纪念品(同场的参与者都太bt了...答题超级积极的…
R语言ETL工程系列:检索(select)
作者:黄天元,复旦大学博士在读,热爱数据科学与R,热衷推广R在业界的应用。邮箱:huang.tian-yuan@qq.com.欢迎合作交流本章介绍如何从表中检索一个或多个数据列,首先我们加载需要使用的包。其中我们需要的航班数据flights数据集需要在nycflights13中加载…
R语言ETL工程系列:读写(read/write)
作者:黄天元,复旦大学博士在读,热爱数据科学与R,热衷推广R在业界的应用。邮箱:huang.tian-yuan@qq.com.欢迎合作交流巧妇难为无米之炊,做数据分析的第一步,首先要有数据。狭义来说,在我们的软件平台进行数据分析,首先要把数据导入到软件平台中。尽…
R语言ETL工程:R语言基础设置
作者:黄天元,复旦大学博士在读,热爱数据科学与R,热衷推广R在业界的应用。邮箱:huang.tian-yuan@qq.com.欢迎合作交流安装R 如果你的计算机还没有安装R语言的话,需要先安装R语言,官网网址为:https://www.r-project.org/ 尽管裸R也是非常好用的,如果新手上…
R语言ETL工程系列:总论
作者:黄天元,复旦大学博士在读,热爱数据科学与R,热衷推广R在业界的应用。邮箱:huang.tian-yuan@qq.com.欢迎合作交流什么是ETL我刚开始注意到ETL这个词的时候,是搜招聘信息的时候。我发现很多公司招人的时候有要求需要会ETL技术,于是进行了更加深入的…
记录一个存取高保真的方法
首先遇到的问题如下:如果在我的表格中有多个国家的语言,那么导出csv的时候,再次导入会出现乱码,因此必须要想办法让数据导入的时候与原来一样。首先,应该用UTF-8的方法导入,也就是说:fread(..., encoding = "UTF-8")然后,转化为tibble就可以得到原来…
[GAN学习系列3]采用深度学习和 TensorFlow 实现图片修复(下)
在第二步中,我们定义并训练了判别器D(x)和生成器G(z),那接下来就是如何利用DCGAN网络模型来完成图片的修复工作了。 在这部分,作者会参考论文"Semantic Image Inpainting with Perceptual and Contextual Losses"…
[GAN学习系列3]采用深度学习和 TensorFlow 实现图片修复(中)
上一篇文章--[GAN学习系列3]采用深度学习和 TensorFlow 实现图片修复(上)中,我们先介绍了对于图像修复的背景,需要利用什么信息来对缺失的区域进行修复,以及将图像当做概率分布采样的样本来看待,通过这个思路来开始进行图像的修复。 这篇文章将继续介绍原文的第二部分,利…
[GAN学习系列3]采用深度学习和 TensorFlow 实现图片修复(上)
在之前的两篇 GAN 系列文章--[GAN学习系列1]初识GAN以及[GAN学习系列2] GAN的起源中简单介绍了 GAN 的基本思想和原理,这次就介绍利用 GAN 来做一个图片修复的应用,主要采用的也是 GAN 在网络结构上的升级版--DCGAN,最初始的 GAN 采用的还是…
我的第一次R会
作者:黄天元,复旦大学博士在读,热爱数据科学与R,热衷推广R在业界的应用。邮箱:huang.tian-yuan@qq.com.欢迎合作交流! 刚在华东师范大学参加了第十一届中国R会议上海分会,受益匪浅。华师大是我的母校,从食堂的菜品,道旁的园艺,体院的气派,书馆的…
[教程]一份简单易懂的 TensorFlow 教程
这个仓库的目标是提供一份简单且容易上手的 TensorFlow 教程,每个教程都包含源代码,并且大部分都包含有一份文档。 TensorFlow 是一个用于多任务数据流编程的开源软件库。它是一个符号数学库,同时也能应用在如神经网络方面的机器学习应用。它在谷歌可以同时应用在研究和工…
R与Python手牵手:特征工程(分类变量)
作者:黄天元,复旦大学博士在读,热爱数据科学与R,热衷推广R在业界的应用。邮箱:huang.tian-yuan@qq.com.欢迎交流! 这次给大家分享的是对分类变量进行特征工程。很多时候我们会遇到一些数据,它们是性别、商场名称、图书类别等等,这些都称之为分类变量…
必读的AI和深度学习博客
接下来会介绍一些 AI 和深度学习方面的博客。 上述这句话是是认知解决方案和 IBM 研究部高级副总裁 John E. Kelly 在 2016 年由人工智能爱好者中最知名的人之一 Yann Lecun 组织的会议上强调的事实。 毫无疑问,AI 正在驱动着下一次的技术革命。所有…
TensorFlow 加载多个模型的方法
在这个教程中,我会介绍如何保存和载入模型,更进一步,如何加载多个模型。 在介绍加载多个模型之前,我们先介绍下如何加载单个模型,官方文档:https://www.tensorflow.org/programmers_guide/meta_graph。 首先,我们需要创建一个模型,…
谷歌开源的 GAN 库--TFGAN
如果你玩过波斯王子,那你应该知道你需要保护自己不被”影子“所杀掉,但这也是一个矛盾:如果你杀死“影子”,那游戏就结束了;但你不做任何事情,那么游戏也会输掉。 尽管生成对抗网络(GAN)有不少优点,但它也面临着相似的区分问题。大部分支持 GAN 的深度学习专业也是非常谨慎的支持它…
[资源分享] Github上八千Star的深度学习500问教程
所以目前它已经有 8446 个 Star,而 Fork 的人数也有 2148 个。这是一份无论是刚入门或者是已经入门,并继续进阶的进行查漏补缺的知识教程。