当前标签 / 多进程 / 总共1篇

Python 多线程和多进程爬虫

· 大约 600 个字 · 预计 3 分钟 读完
Python
Python · 多线程 · 多进程 · 爬虫 · Requests · Thread · Process

前面的 《Python 的网络请求 Requests 模块使用》 我们已经对爬虫的基本过程有了了解，而且整个过程比较顺畅，容易理解，但是很多情况下我们的爬取工作并不是如此轻松的，我们可能会面临一些特殊情况，例如今天要说的速度问题，如果有大量的页面需要爬取，我们还使用单一线程就很慢了。

多线程爬虫

我们先不考虑特别大型的爬取，本文所有的思路都是基于满足个人需求的中型爬取需要。我们可以使用多线程来并行爬取，这样就可以成倍的提高爬取速度。

我们先来感受一下如何使用多线程：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import _thread
import time

def print_time(threadName, delay):
    count = 0
    while count < 3:
        time.sleep(delay)
        count += 1
        print(threadName, time.ctime())

_thread.start_new_thread(print_time, ("Thread-1", 1))
_thread.start_new_thread(print_time, ("Thread-2", 2))

阅读更多