ITPub博客

首页 > 应用开发 > Python > python实战项目:爬取某网帅哥图片

python实战项目:爬取某网帅哥图片

原创 Python 作者:python交流 时间:2019-03-19 16:29:19 0 删除 编辑

前言

我也不知道说啥了, 看呗,就当是一个案例练习吧,

首先导入库

from bs4 import BeautifulSoupfrom urllib.request import urlretrieveimport requestsimport osimport time

主体代码(一)

if __name__ == '__main__':
    list_url = []    for num in range(1,3):        if num == 1:
            url = '
        else:
            url = '%d.html' % num
        headers = {                "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
        }
        req = requests.get(url = url,headers = headers)
        req.encoding = 'utf-8'
        html = req.text
        bf = BeautifulSoup(html, 'lxml')
        targets_url = bf.find_all(class_='item-img')        
        for each in targets_url:
            list_url.append(each.img.get('alt') + '=' + each.get('href'))    print('连接采集完成')

主体代码(二)

for each_img in list_url:
        img_info = each_img.split('=')
        target_url = img_info[1]
        filename = img_info[0] + '.jpg'
        print('下载:' + filename)
        headers = {            "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
        }
        img_req = requests.get(url = target_url,headers = headers)
        img_req.encoding = 'utf-8'
        img_html = img_req.text
        img_bf_1 = BeautifulSoup(img_html, 'lxml')
        img_url = img_bf_1.find_all('div', class_='wr-single-content-list')
        img_bf_2 = BeautifulSoup(str(img_url), 'lxml')
        img_url = '('src')        if 'images' not in os.listdir():
            os.makedirs('images')
        urlretrieve(url = img_url,filename = 'images/' + filename)
        time.sleep(1)
    print('下载完成!')

感觉如何?自己能实现吗?欢迎大家交流学习


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69912078/viewspace-2638778/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
上路:9458 中路:79 下来025 有干货

注册时间:2019-03-04

  • 博文量
    188
  • 访问量
    236047