ITPub博客

首页 > IT职业 > > 解析第一个url就craw failed 了,请大神帮忙排查原因

解析第一个url就craw failed 了,请大神帮忙排查原因

作者:cynthia 时间:2019-04-15 11:20:39 0 删除 编辑
def parse(self,pageUrl,htmlCont):
    if pageUrl is None or htmlCont is None:
        return

    soup = BeautifulSoup(htmlCont,'html_parser',from_encoding='utf-8')
    new_urls = self._get_new_urls(pageUrl,soup)
    new_data = self._get_new_data(pageUrl,soup)
    return new_urls, new_data
这个方法里
soup = BeautifulSoup(htmlCont,'html_parser',from_encoding='utf-8')
1
这一句代码执行完, parse 方法 就直接返回了,导致new_urls ,new_data 都没有值,main模块中的

https://img3.mukewang.com/5b41d08400018b6704710255.jpg

的try就出现异常,然后就退出了,是哪个环节出错导致的呀,求大神指点


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69900308/viewspace-3158672/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-11-27

  • 博文量
    43
  • 访问量
    1011