ITPub博客

现如今，我们能用的数据库很多，老牌关系型数据库如MySQL（MariaDB），PostgreSQL等，新型的NoSQL数据库，还有NewSqL数据库。选择实在太多，但MySQL（Mariadb）从易获取性，易使用性，稳定性，社区活跃性方面都有较大优势，所以，我们在够用的情况下都选择MySQL的。今天，我们就把MySQL的的操作单独拿出来探讨一下，并实现一个更方便的封装。Python的对MySQL的

对于比较大型的爬虫来说，URL管理的管理是个核心问题，管理不好，就可能重复下载，也可能遗漏下载。这里，我们设计一个URL池来管理URL。这个URL池就是一个生产者 - 消费者模式：生产者 - 消费者流程图依葫芦画瓢，URLPool就是这样的设计的网络爬虫URLPool我们从网址池的使用目的出发来设计网址池的接口，它应该具有以下功能：往池子里面添加URL;从池子里面取URL以下载;池子内部要管理UR

实现了一个简单的再也不能简单的新闻爬虫后，这个项目有很多漏洞，以及需要解决的问题。现在我们就来去除这些槽点来完善我们的新闻爬虫。这是第一章，之后会持续来完善好我们的新闻爬虫。downloader 的实现import requests import cchardet import traceback def downloader(url,&nbs

这个实战例子是构建一个大规模的异步新闻爬虫，但要分几步走，从简单到复杂，循序渐进的来构建这个Python爬虫本教程所有代码以Python 3.6实现，不兼顾Python 2，强烈建议大家使用Python 3要抓取新闻，首先得有新闻源，也就是抓取的目标网站。国内的新闻网站，从中央到地方，从综合到垂直行业，大大小小有几千家新闻网站。百度新闻（news.baidu.com）收录的大约两千多家。那么我们先

写爬虫，是一个非常考验综合实力的活儿。有时候，你轻而易举地就抓取到了想要的数据；有时候，你费尽心思却毫无所获。好多Python爬虫的入门教程都是一行代码就把你骗上了“贼船”，等上了贼船才发现，水好深～比如爬取一个网页可以是很简单的一行代码：r = requests.get('http://news.baidu.com')非常的简单，但它的作用也仅仅是爬取一个网页

记得有次发现有些网页抓不下来，开始好久都找不着头脑，废了九牛二虎之力，终于发现是http请求处理的问题。深入代码才看到，http协议的这部分代码都是写这个人自己实现的，只是实现了最基本的协议，也就是，建立socket连接，发送请求，然后通过socket接收数据，解析响应头（response headers）。然而这个响应头连http重定向都没有处理，凡是重定向的响应就都失败了，自然那些网页就抓不下

互联网上，公开数据（各种网页）都是以http（或加密的http即https）协议传输的。所以，我们这里介绍的爬虫技术都是基于http（https）协议的爬虫。在Python的模块海洋里，支持http协议的模块是相当丰富的，既有官方的urllib，也有大名鼎鼎的社区（第三方）模块 requests。它们都很好的封装了http协议请求的各种方法，因此，我们只需要熟悉这些模块的用法，不再进一步讨论htt

互联网诞生之初，是为了让人们更容易的分享数据、交流通讯。互联网是桥梁，连接了世界各地的人们。网站的点击、浏览都是人为的，与你聊天的也是活生生的人。然而，随着技术的发展，人们对数据的渴望，出现了各种网络机器人，这个时候，你不知道屏幕那端跟你聊天的是一个人还是一条狗，你也不知道你网站的浏览量是人点击出来的，还是机器爬出来的。表面上看，互联网上是各种各样的人；暗地里，已经布满了形形色色的网络爬虫。一、搜