我们想要爬虫按照我们的指令去搜集资料，就需要给它们建立一些任务进程，而且互相之间不能重复。这就是我们今天所要学习的任务进程的建立。不知道写过服务进程代码的小伙伴，对于本篇内容的代码有没有什么启发。这里小编同样从讲解进程的思路入手，随后进行接下来的代码教学，接下来我们一起看看如何操作。

创建任务进程也比较简单，只有简单的四步：

1. 创建一个类似的QueueManager对象，使用QueueManager注册用于获取queue的方法名称，任务进程只能通过名称来在网络上获取queue，所以这里一定要注意服务端和任务端的名称要相同。

2. 链接服务器，端口和指令一定要与服务端相同。

3. 从网络上获取queue，并且将其本地化。

4. 从task对列中获取任务，并且把结果写入result对列。

import time
from multiprocessing.managers import BaseManager
# 创建类似的QueueManager
class QueueManager(BaseManager):
    pass
# 第一步：使用QueueManager注册用于获取Queue的方法名称
QueueManager.register('get_task_queue')
QueueManager.register('get_result_queue')
# 第二步：链接到服务器
server_addr = '127.0.0.1'
print('Connect to server %s' %server_addr)
# 端口和验证的口令一定要保证相同
m = QueueManager(address = (server_addr, 8001), authkey='jap'.encode('utf-8'))
# 从网络连接:
m.connect()
# 第三步：获取queue的对象
task = m.get_task_queue()
result = m.get_result_queue()
# 第四部：从task队列中获取任务，并把结果写入result队列
while(not task.empty()):
    url = task.get(True, timeout = 5)
    print("run task download %s" %url)
    time.sleep(1)
    # 将结果写入result队列
    result.put("%s --->success" %url)
print("exit")

详细的步骤也写在里面了，当然这个任务队列，我们是可以创建多个的，每个任务进程都会完成自己的事，而不会干扰其他的任务进程，这也就让我们的url不会重复的去爬取，从而完美的实现了多个进程来爬取我们的任务。

今天对于python爬虫创建任务进程的介绍方法到这里就结束了，没有运行出成果的小伙伴可以看看小编的思路，再重新进行代码的试验。