ITPub博客

首页 > 应用开发 > > scrapy 如何把列表页内容和详情页的内容存在一个item?

scrapy 如何把列表页内容和详情页的内容存在一个item?

作者:yzx19 时间:2019-08-30 10:55:39 0 删除 编辑

举例:

https://www.baidu.com/s?&wd=123百度的搜索页面相当于列表页,在列表页抓取了标题、时间、URL,接着还要去抓到的URL里抓取内容。

问题来了,怎么把列表页抓到的和在URL详情页抓到的yield到同一个item。

现在的程序是这样的:

def parse(self,response):
    '''这里获取列表页的标题、时间、URL'''
    '''然后把URL通过Request回调给parse_item'''
    
def parse(self,response):
    '''这里获取URL页面的内容'''

这样的问题是,这两部分好像是分离的,我想把标题、时间、URL、内容都存在一起,可是如果分在两个函数去写好像就不能存一起。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/3269/viewspace-3156295/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2019-08-13

  • 博文量
    87
  • 访问量
    973