ITPub博客

首页 > IT职业 > IT图书 > 爬虫正传-江湖路远-0101

爬虫正传-江湖路远-0101

IT图书 作者:ou_159 时间:2021-09-09 09:14:45 0 删除 编辑
1.1. 刀未佩妥,出门已是江湖——第一个爬虫程序

创建自己的爬虫工作目录,我个人工作目录位置:

/home/damu/work_spider/spider_01/

创建第一个爬虫程序:demo01_hw.py

目标:采集新浪网首页数据

资源:url地址(http://www.sina.com.cn)

程序开发:编辑demo01_hw.py

# coding:utf-8

# 引入爬虫模块
import urllib2

# 访问服务器,获取服务器返回的响应数据
response = urllib2.urlopen(‘http://www.sina.com.cn’)

# 控制台打印展示数据
print(response.read())

运行程序:python demo01.py,控制台可以看到采集到的数据
图片描述

小结:urllib2是Python2版本中专门用于进行网络数据请求访问的一个基础模块,包含了最基本的操作网络数据的各种类型和函数,如上述程序中访问新浪网并获取响应数据的函数urlopen就是一个非常核心重要的操作函数!

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/1192/viewspace-2801097/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: php中类的继承
请登录后发表评论 登录
全部评论

注册时间:2019-04-15

  • 博文量
    117
  • 访问量
    1300