-
编辑 删除
R与Python手牵手：数据的分组排序
这次介绍如何在Python与R中进行表格数据的分组排序，也就是分组进行统一运算，以及按照规则进行排列。Python#载入模块 import pandas as pd import numpy as np import matplotlib.pylab as plt #载入数据 edu = pd.read_csv('G:/Py/introduction-datascie…
-
编辑 删除
[资源分享] 吴恩达最新《机器学习训练秘籍》中文版可以免费下载了！
正如书名所言，这本书主要介绍的就是机器学习训练中的一些技巧和注意事项，包括如何设置训练集和测试集、处理偏差和方差问题等。目录如下所示： 不过目前的中文版的翻译还并非最终版本，如果发现了问题，可以去 Github 上提出，帮助修改。 也可以在『我的微信公众号后台回复 "MLY" …
-
编辑 删除
[GAN学习系列] 初识GAN
要说最近几年在深度学习领域最火的莫过于生成对抗网络，即 Generative Adversarial Networks(GANs)了。它是 Ian Goodfellow 在 2014 年发表的，也是这四年来出现的各种 GAN 的变种的开山鼻祖了，下图表示这四年来有关 GAN 的…
-
编辑 删除
R与Python手牵手：数据的行列操纵
行列操纵乃是ETL的基本功，传统的提取数据并进行转化的工作是由SQL完成的，但是R与Python在解决这方面问题也是游刃有余，让我们看看两者在处理数据基本操作的时候有什么区别。Python#载入模块 import pandas as pd import numpy as np import matplotlib.py…
-
编辑 删除
R与Python手牵手：数据框的构建、读取与基本描述
任务目标这次任务目标是：1.在编程环境内创建数据框；2.在本地导入csv文件；3.进行最基本的数据描述性分析。 在开始上代码之前，有必要对数据框这种数据结构进行一定的解释。数据框就是典型的关系型数据库的数据存储形式，每一行是一条记录，每一列是一个属…
-
编辑 删除
R与Python手牵手：数据科学导论系列（包的载入）
写在前面的话R与Python是数据科学中两门最常用的开源软件，两者有很多共同点，但是在具体应用中又不太一样。作为熟练的R用户，我一直患有“学习Python困难症”，每当我想要好好学习Python的时候，我总是发现在R中也有相应的解决办法，而且我学起来要更加便…
-
编辑 删除
无缝对接Spark与R：Sparklyr系列——探讨属于数据科学家的Spark
为什么Spark需要与R对接？解决这个问题，也许应该先问：为什么要学习Spark？对于数据科学家而言，Spark只是一个工具，我们大可绕过Hadoop生态系统和RDD之类的基本概念识，直截了当地回答：成本低、速度快。也就是企业里面的数据很多是利用分布式架构存储的…
-
编辑 删除
vim快速入门
在 Linux 下最常使用的文本编辑器就是 vi 或者 vim 了，如果能很好掌握这个编辑器，非常有利于我们更好的在 Linux 下面进行编程开发。 Vim是从 vi 发展出来的一个文本编辑器。代码补完、编译及错误跳转等方便编程的功能特别丰富，在程序员中被广泛使用。 简单的来说…
-
编辑 删除
[实战]制作简单的公众号二维码关注图
最近刚刚更换了公众号名字，然后自然就需要更换下文章末尾的二维码关注图，但是之前是通过 windows 自带的画图软件做的，但是之前弄的时候其实还是比较麻烦的，所以我就想作为一名程序猿，当然要努力用代码解决这个问题。 而且最近发现了一个新的图像处理方面的库--Wand，它是 Im…
-
编辑 删除
R语言关键词提取：总纲
最近在参加神策杯的一个比赛，名为“神策杯”2018高校算法大师赛，主要任务是从文本中提取关键词。尽管开头跑通了程序，但是提分的过程异常困难。既然如此，就把它完全转化为一个学习项目，而不是为了排名，所以在比赛进行中在这里进行交流。首先讲自己的思…
-
编辑 删除
R语言二分类问题案例分析：以泰坦尼克号沉船为例
2018.9.1 Kaggle上最经典的泰坦尼克号入门级教程，我们这里尝试玩转它（https://www.kaggle.com/c/titanic）。 先讲数据背景，我们有各种各样的乘客数据，想要利用这些数据，预测在泰坦尼克号沉船的时候，这个乘客是否能够存活。具体的数据字典可以参照：…
-
编辑 删除
R语言网络爬虫标准
声明：本文仅代表在2017年11月最新的比较有效的方法。 1.数据爬取package: rvest/httr rvest: read_html(url) httr: GET(url,handle=handle(url)) %>% content(at="parse", encoding=stringi::stri_enc_detect(content(., "raw"))[[1]][1]) 2.节点搜索pa…
-
编辑 删除
通量数据文件读入和预处理
#文件读入 library(stringr) library(dplyr) library(readr) rm(list=ls()) setwd("G:/FLUX_DATA/trial for different time") alldata=data.frame() dir()->folders newdir=str_c("./",folders) length(folders)->nf for(i in 1:nf) { list.files(new…
-
编辑 删除
代码保存
library(rvest) library(stringr) library(tcltk) url="http://www.biodiversity-science.net/CN/article/showTenYearOldVolumn.do" read_html(url)->whole whole %>% html_nodes("a[href]:only-child") %>% html_attr(name="href") ->wholelinks str_c("…
-
编辑 删除
R语言网络爬虫经验
1.读取#假设url为网页 library(rvest) read_html(rul)->website #该方法对于html/shtml都好用 #可是网页为.aspx时候这个方法不行，改为 library(httr) GET(url,handle=handle(url)) %>% content(at="parse") ->website2.进度条设置在爬虫的时候经常爬到一…
-
编辑 删除
R语言进度条
library(tcltk) u <- 1:2000 #开启进度条 pb <- tkProgressBar("进度","已完成 %", 0, 100) for(i in u) { info<- sprintf("已完成 %d%%", round(i*100/length(u))) setTkProgressBar(pb, i*100/length(u), sprintf("进度 (%s)", info),info)…
-
编辑 删除
[R爬虫]rvest包深入学习
在中文网站上找到的关于利用rvest包爬虫的学习了一下，大同小异，于是来到Github找写包的人来进行学习，至此估计关于这个包的学习可以告一段落了。大神的网址如下：hadley/rvest.下面来做今天的学习笔记，具体代码直接复制的demo下面的代码，注释是自己加的…
-
编辑 删除
[R爬虫]亚马逊Kindle热销榜价格排序
#参考了http://www.cnblogs.com/weibaar/p/4824578.html的思路 #代码目的是发现亚马逊Kindle热销榜中5元以下书籍都有哪些 #槽点：中国顾客对价格这么敏感亚马逊同学居然没有直接对价格筛选的功能... #不然原作者应该不会整这个案例 library(stringr) libra…
-
编辑 删除
[R爬虫]看看数据分析师的薪资
#xpath+正则表达式提取静态网页的内容 #参考了http://blog.csdn.net/qq_34773726/article/details/72546163?locationNum=12&fps=1 library(stringr) library(xml2) library(rvest) data.frame()->alldf vector()->keywords_final site="https://www.zhipi…
