ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 【用Python写爬虫】获取html的方法【二】:使用pycurl

【用Python写爬虫】获取html的方法【二】:使用pycurl

原创 Linux操作系统 作者:howklp 时间:2008-06-13 16:29:12 0 删除 编辑
Normal 0 7.8 磅 0 2 false false false MicrosoftInternetExplorer4      个人觉得,Python是一种让编程人员非常自在的语言。脚本性,实时性,开源性..........无不信手拈来。用Python书写爬虫更是如此。

     在此处没有语法介绍,没有hello world.....,只有应用,只有代码

 

# Pycurl参考地址:http://pycurl.sourceforge.net/

# Pycurl下载地址:http://pycurl.sourceforge.net/download/pycurl-7.18.1.tar.gz

 

 

# -*- coding: UTF-8 -*-

import pycurl

import StringIO

 

def getURLContent_pycurl(url):    

    c = pycurl.Curl()

    c.setopt(pycurl.URL,url)

    b = StringIO.StringIO()

    c.setopt(pycurl.WRITEFUNCTION, b.write)

    c.setopt(pycurl.FOLLOWLOCATION, 1)

    c.setopt(pycurl.MAXREDIRS, 5)

    # 代理

    #c.setopt(pycurl.PROXY, 'http://11.11.11.11:8080')

    #c.setopt(pycurl.PROXYUSERPWD, 'aaa:aaa')

    c.perform()

    return b.getvalue()

 

url = 'http://blog.csdn.net'

content = getURLContent_pycurl(url)

print content

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/10372673/viewspace-345698/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2008-06-13

  • 博文量
    2
  • 访问量
    8558