R与Python或协同助力机器学习:听Azure ML Studio讲座有感
作者:黄天元,复旦大学博士在读,热爱数据科学与R,热衷推广R在业界的应用。邮箱:huang.tian-yuan@qq.com.欢迎合作交流 周末参加了《微软云社区Global AI Bootcamp 2018—上海站》的活动,尽管没有拿到什么纪念品(同场的参与者都太bt了...答题超级积极的…
R语言ETL工程系列:检索(select)
作者:黄天元,复旦大学博士在读,热爱数据科学与R,热衷推广R在业界的应用。邮箱:huang.tian-yuan@qq.com.欢迎合作交流本章介绍如何从表中检索一个或多个数据列,首先我们加载需要使用的包。其中我们需要的航班数据flights数据集需要在nycflights13中加载…
R语言ETL工程系列:读写(read/write)
作者:黄天元,复旦大学博士在读,热爱数据科学与R,热衷推广R在业界的应用。邮箱:huang.tian-yuan@qq.com.欢迎合作交流巧妇难为无米之炊,做数据分析的第一步,首先要有数据。狭义来说,在我们的软件平台进行数据分析,首先要把数据导入到软件平台中。尽…
R语言ETL工程:R语言基础设置
作者:黄天元,复旦大学博士在读,热爱数据科学与R,热衷推广R在业界的应用。邮箱:huang.tian-yuan@qq.com.欢迎合作交流安装R 如果你的计算机还没有安装R语言的话,需要先安装R语言,官网网址为:https://www.r-project.org/ 尽管裸R也是非常好用的,如果新手上…
R语言ETL工程系列:总论
作者:黄天元,复旦大学博士在读,热爱数据科学与R,热衷推广R在业界的应用。邮箱:huang.tian-yuan@qq.com.欢迎合作交流什么是ETL我刚开始注意到ETL这个词的时候,是搜招聘信息的时候。我发现很多公司招人的时候有要求需要会ETL技术,于是进行了更加深入的…
记录一个存取高保真的方法
首先遇到的问题如下:如果在我的表格中有多个国家的语言,那么导出csv的时候,再次导入会出现乱码,因此必须要想办法让数据导入的时候与原来一样。首先,应该用UTF-8的方法导入,也就是说:fread(..., encoding = "UTF-8")然后,转化为tibble就可以得到原来…
[GAN学习系列3]采用深度学习和 TensorFlow 实现图片修复(下)
在第二步中,我们定义并训练了判别器D(x)和生成器G(z),那接下来就是如何利用DCGAN网络模型来完成图片的修复工作了。 在这部分,作者会参考论文"Semantic Image Inpainting with Perceptual and Contextual Losses"…
[GAN学习系列3]采用深度学习和 TensorFlow 实现图片修复(中)
上一篇文章--[GAN学习系列3]采用深度学习和 TensorFlow 实现图片修复(上)中,我们先介绍了对于图像修复的背景,需要利用什么信息来对缺失的区域进行修复,以及将图像当做概率分布采样的样本来看待,通过这个思路来开始进行图像的修复。 这篇文章将继续介绍原文的第二部分,利…
[GAN学习系列3]采用深度学习和 TensorFlow 实现图片修复(上)
在之前的两篇 GAN 系列文章--[GAN学习系列1]初识GAN以及[GAN学习系列2] GAN的起源中简单介绍了 GAN 的基本思想和原理,这次就介绍利用 GAN 来做一个图片修复的应用,主要采用的也是 GAN 在网络结构上的升级版--DCGAN,最初始的 GAN 采用的还是…
我的第一次R会
作者:黄天元,复旦大学博士在读,热爱数据科学与R,热衷推广R在业界的应用。邮箱:huang.tian-yuan@qq.com.欢迎合作交流! 刚在华东师范大学参加了第十一届中国R会议上海分会,受益匪浅。华师大是我的母校,从食堂的菜品,道旁的园艺,体院的气派,书馆的…
[教程]一份简单易懂的 TensorFlow 教程
这个仓库的目标是提供一份简单且容易上手的 TensorFlow 教程,每个教程都包含源代码,并且大部分都包含有一份文档。 TensorFlow 是一个用于多任务数据流编程的开源软件库。它是一个符号数学库,同时也能应用在如神经网络方面的机器学习应用。它在谷歌可以同时应用在研究和工…
R与Python手牵手:特征工程(分类变量)
作者:黄天元,复旦大学博士在读,热爱数据科学与R,热衷推广R在业界的应用。邮箱:huang.tian-yuan@qq.com.欢迎交流! 这次给大家分享的是对分类变量进行特征工程。很多时候我们会遇到一些数据,它们是性别、商场名称、图书类别等等,这些都称之为分类变量…
必读的AI和深度学习博客
接下来会介绍一些 AI 和深度学习方面的博客。 上述这句话是是认知解决方案和 IBM 研究部高级副总裁 John E. Kelly 在 2016 年由人工智能爱好者中最知名的人之一 Yann Lecun 组织的会议上强调的事实。 毫无疑问,AI 正在驱动着下一次的技术革命。所有…
TensorFlow 加载多个模型的方法
在这个教程中,我会介绍如何保存和载入模型,更进一步,如何加载多个模型。 在介绍加载多个模型之前,我们先介绍下如何加载单个模型,官方文档:https://www.tensorflow.org/programmers_guide/meta_graph。 首先,我们需要创建一个模型,…
谷歌开源的 GAN 库--TFGAN
如果你玩过波斯王子,那你应该知道你需要保护自己不被”影子“所杀掉,但这也是一个矛盾:如果你杀死“影子”,那游戏就结束了;但你不做任何事情,那么游戏也会输掉。 尽管生成对抗网络(GAN)有不少优点,但它也面临着相似的区分问题。大部分支持 GAN 的深度学习专业也是非常谨慎的支持它…
[资源分享] Github上八千Star的深度学习500问教程
所以目前它已经有 8446 个 Star,而 Fork 的人数也有 2148 个。这是一份无论是刚入门或者是已经入门,并继续进阶的进行查漏补缺的知识教程。
R与Python手牵手:特征工程(数值型变换)
# coding: utf-8# 经常玩数据竞赛的人几乎达成了一个共识,就是建模过程大家都大同小异,但是特征工程则至关重要。数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。这里将会介绍一些最基本的特征工程方法以及代码的实现,供大家参考。…
R与Python手牵手:多格式文件导入与爬虫
在实际操作中,数据的收集与导入往往是整个过程的开始。如果大家用过其他软件处理文件,应该都有“转格式”的不良体验。所幸,R与Python已经有大量的工具能够帮助我们直接将不同类型的数据格式直接导入到工作环境中。这次我们将要介绍怎么把外部数据导入Pyt…
[GAN学习系列2] GAN的起源
这是 GAN 学习系列的第二篇文章,这篇文章将开始介绍 GAN 的起源之作,鼻祖,也就是 Ian Goodfellow 在 2014 年发表在 ICLR 的论文--Generative Adversarial Networks”,当然由于数学功底有限,所以会简单介绍用到的数学公…
R与Python手牵手:数据探索性分析案例展示
通常,我们拿到一份数据不能马上分析,要先搞清楚这份数据的特点是什么。探索性数据分析就是为了解决这个问题而设计的,下面我们通过一个案例进行展示。本案例数据可在这里获得:https://github.com/DataScienceUB/introduction-datascience-python-bookPython数据导入#数据读入 file = open('G:/Py/introduc…