爬虫怎么运行
1、在命令行中使用“python 文件名.py”。
# 方式一 $ scrapy crawl spider_name
2、单独配置一个文件，spider_name是具体的爬虫名，通过pycharm运行设置，但每次都要更改爬虫名，不利于git提交。
# 方式二 from scrapy import cmdline args = "scrapy crawl spider_name".split() cmdline.execute(args)
3、在python交互式命令行下直接输入python代码回车运行
# 方式三 if __name__ == '__main__': from scrapy import cmdline args = "scrapy crawl spider_name".split() cmdline.execute(args)
以上就是爬虫运行的三种方法，其中命令行和交互式命令行的方法比较相似，大家在使用时需要注意概念的区分。爬虫可以结合代理ip的使用，如果大家想测试使用下，可以尝试品易云http代理ip，免费测试包含各种类ip资源，无限调用IP量！更多常见问题解决：ip
（推荐操作系统：windows7系统、Python 3.9.1、DELL G3电脑。）
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/3071/viewspace-2829742/ ，如需转载，请注明出处，否则将追究法律责任。
下一篇：
国外ip免费代理有哪些软件？
请登录后发表评论
登录
全部评论
