ITPub博客

之前的一个系列 『Python小知识 』主要和大家分享一下我快速看过一遍《零压力学Python》后觉得比较好玩、重要的一些知识点。

逗号分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。

这里利用到了一个轻量级的XML解析器：xml.etree.ElementTree。传入文件名，先读取文件内容，然后利用parse()函数解析XML，创建一个树状结构并存放在tree变量中，在tree对象上调用getroot()方法得到根节点，最后调用iter_records()函数，传入根节点，进而将返回的信息转换成DataFrame。

工欲善其事必先利其器的道理相信大家都懂。而作为经常要和各大网站做拉锯战的爬虫工程师们，则更需要利用利用好身边的一切法器，以便更快的攻破对方防线。今天我就以日常爬虫流程，给大家介绍十款工具，相信大家掌握之后，必定能够在工作效率上，提升一个量级

前两天吃了平哥的一波狗粮，他给女朋友写了一个翻译软件，自己真真切切的感受到了程序员的浪漫。在学习requests请求的时候做过类似的Demo，给百度翻译发送一个post请求可以实现任意词组的翻译，利用周六周日将那段代码进行了进一步优化加了一个交互界面，有了今天的翻译软件。

春节结束，离开家里混吃混喝的怀抱，我又开始了用花呗、还花呗的无限循环。花呗给人一种“有钱”的感觉，我不禁思考：像我这种发工资前靠花呗活着，一发工资就还花呗的平静什么时候会打破，我要是还不起花呗了怎么办？

作为互联网界的两个对立的物种，产品汪与程序猿似乎就像一对天生的死对头；但是在产品开发链条上紧密合作的双方，只有通力合作，才能更好地推动项目发展。那么产品经理平日里面都在看那些文章呢？我们程序猿该如何投其所好呢？我爬取了人人都是产品经理（http://www.woshipm.com）产品经理栏目下的所有文章，看看产品经理都喜欢看什么。

网易云音乐2018年度听歌报告—遇见你，真好。相信有不少人在上周，应该已经看过自己网易云音乐的年度报告了。小F也是去凑凑热闹，瞅了一波自己的年度听歌报告。那么你在云村又听了多少首歌，听到最多的歌词又是什么呢？

什么是机器学习？1.机器学习 == 寻找一种函数这个函数可以是：1. 语音识别:输入一段语音信号，输出文字

极简一直是我所追求的，生活/工作/学习都做到极致的简单，这是我对极简的理解与定义，我大一的时候就想打造一个极致简单的学习交流/资源分享平台，奈何，有想法，

不知道什么时候，“厚得载物，自强不息”变成了厚德载雾，自强不吸。无图无真相，下图为证。来一起用Python看看2018年北上广深空气质量分析~

随着互联网行业的日益兴盛，吸引力越来越多的牛人加入其中，也有许多小伙伴跃跃欲试，想要在互联网的浪潮中大展身手。今天我们通过看准网的数据，帮助大家对各大互联网公司有一个比较概括的了解。

今天给大家分享的是，Python里的爬虫框架Scrapy学习，包含python虚拟环境的搭建、虚拟环境的使用、Scrapy安装方法详解、Scrapy基本使用、Scrapy项目目录及内容基本介绍，let's go！

从字面上理解，url去重即去除重复的url,在爬虫中就是去除已经爬取过的url,避免重复爬取，既影响爬虫效率，又产生冗余数据。

深度优先搜索的主要特征就是，假设一个顶点有不少相邻顶点，当我们搜索到该顶点，我们对于它的相邻顶点并不是现在就对所有都进行搜索，而是对一个顶点继续往后搜索，直到某个顶点，他周围的相邻顶点都已经被访问过了，这时他就可以返回，对它来的那个顶点的其余顶点进行搜索。

正则表达式，又称规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。

为什么要爬取拉勾网？ 哈哈哈，当然是因为简单，啪，原因如下： （1）动态网页，爬起来难度更大，讲起来更有内容； （2）与一般情况不同，我们所需内容通过get请求获取不了，需进行页面分析。 课程概要：1.爬取拉勾网求职信息 (1)requests 请求，获取单页面 (2)分析页面加载，找到数据 (3)添加headers 信息，模仿浏览器请求 (4)解析页面，实现翻页爬取 (5)爬取数据存入csv文件 2.数据分析与可视化 (1)分析数据 (2)pyecharts实现数据可视化

本来昨天是骑士对勇士的，想带大家爬取腾讯体育NBA专区话题的，可是腾讯反爬也厉害，等到下一期再教大家，毕竟从基础开始，就要简单点，哈哈哈。

今天给大家分享的是Jupyter安装和基本使用教程。这是我6月10日在csdn上写的一篇博客，最近很多小伙伴都说Jupyter很好用，就不乏有一些小伙伴不知道怎么安装使用，所以把之前的博文编辑了一下，发给大家。分享内容主要包括：我安装的过程中遇到了一些问题，解决方法和Jupyter基本使用。

知道《悲伤逆流成河》上映还是在qq空间看见学弟发了说说，突然想起初中追小四的书，每天看到晚上10点多，昨天看了枪版的《悲伤逆流成河》，整个故事情节几乎和小说一模一样，当然缩减是避免不了的，最大的不一样的是原著里的易遥是跳楼自杀的，而电影里路遥是在众人的"舌枪唇剑"、幸灾乐祸的眼睛下，带着不甘与怨恨跳河自杀的，最后竟然…我就不剧透了，整部剧大概一个小时四十分钟下来全程无尿点，昨天就是枪版的我都看了两遍…（正打算找人去电影院再看一遍），也是看了第一遍，才让我想写这篇充满技术+情感的文章。