1. 基本概念
在開始講解理論知識之前,先過一下幾個基本概念。雖然咱是進階教程,但我也希望寫得更小白,更通俗易懂。
串行
:一個人在同一時間段只能干一件事,譬如吃完飯才能看電視;
并行
:一個人在同一時間段可以干多件事,譬如可以邊吃飯邊看電視;
在Python中,多線程
和 協程
雖然是嚴格上來說是串行,但卻比一般的串行程序執行效率高得很。 一般的串行程序,在程序阻塞的時候,只能干等著,不能去做其他事。就好像,電視上播完正劇,進入廣告時間,我們卻不能去趁廣告時間是吃個飯。對于程序來說,這樣做顯然是效率極低的,是不合理的。
雖然 多線程
和 協程
已經相當智能了。但還是不夠高效,最高效的應該是一心多用,邊看電視邊吃飯邊聊天。這就是我們的 多進程
才能做的事了。
2. 單線程VS多線程VS多進程
文字總是蒼白無力的,不如用代碼直接來測試一下。
開始對比之前,首先定義四種類型的場景
- CPU計算密集型
- 磁盤IO密集型
- 網絡IO密集型
- 【模擬】IO密集型
為什么是這幾種場景,這和多線程
多進程
的適用場景有關。結論里,我再說明。
# CPU計算密集型
def count(x=1, y=1):
# 使程序完成150萬計算
c = 0
while c < 500000:
c += 1
x += x
y += y
# 磁盤讀寫IO密集型
def io_disk():
with open("file.txt", "w") as f:
for x in range(5000000):
f.write("python-learning\n")
# 網絡IO密集型
header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'}
url = "https://www.tieba.com/"
def io_request():
try:
webPage = requests.get(url, headers=header)
html = webPage.text
return
except Exception as e:
return {"error": e}
# 【模擬】IO密集型
def io_simulation():
time.sleep(2)
比拼的指標,我們用時間來考量。時間耗費得越少,說明效率越高。
為了方便,使得代碼看起來,更加簡潔,我這里先定義是一個簡單的 時間計時器
的裝飾器。 如果你對裝飾器還不是很了解,也沒關系,你只要知道它是用于 計算函數運行時間的東西就可以了。
def timer(mode):
def wrapper(func):
def deco(*args, **kw):
type = kw.setdefault('type', None)
t1=time.time()
func(*args, **kw)
t2=time.time()
cost_time = t2-t1
print("{}-{}花費時間:{}秒".format(mode, type,cost_time))
return deco
return wrapper
第一步,先來看看單線程的
@timer("【單線程】")
def single_thread(func, type=""):
for i in range(10):
func()
# 單線程
single_thread(count, type="CPU計算密集型")
single_thread(io_disk, type="磁盤IO密集型")
single_thread(io_request,type="網絡IO密集型")
single_thread(io_simulation,type="模擬IO密集型")
看看結果
【單線程】-CPU計算密集型花費時間:83.42633867263794秒
【單線程】-磁盤IO密集型花費時間:15.641993284225464秒
【單線程】-網絡IO密集型花費時間:1.1397218704223633秒
【單線程】-模擬IO密集型花費時間:20.020972728729248秒
第二步,再來看看多線程的
@timer("【多線程】")
def multi_thread(func, type=""):
thread_list = []
for i in range(10):
t=Thread(target=func, args=())
thread_list.append(t)
t.start()
e = len(thread_list)
while True:
for th in thread_list:
if not th.is_alive():
e -= 1
if e <= 0:
break
# 多線程
multi_thread(count, type="CPU計算密集型")
multi_thread(io_disk, type="磁盤IO密集型")
multi_thread(io_request, type="網絡IO密集型")
multi_thread(io_simulation, type="模擬IO密集型")
看看結果
【多線程】-CPU計算密集型花費時間:93.82986998558044秒
【多線程】-磁盤IO密集型花費時間:13.270896911621094秒
【多線程】-網絡IO密集型花費時間:0.1828296184539795秒
【多線程】-模擬IO密集型花費時間:2.0288875102996826秒
第三步,最后來看看多進程
@timer("【多進程】")
def multi_process(func, type=""):
process_list = []
for x in range(10):
p = Process(target=func, args=())
process_list.append(p)
p.start()
e = process_list.__len__()
while True:
for pr in process_list:
if not pr.is_alive():
e -= 1
if e <= 0:
break
# 多進程
multi_process(count, type="CPU計算密集型")
multi_process(io_disk, type="磁盤IO密集型")
multi_process(io_request, type="網絡IO密集型")
multi_process(io_simulation, type="模擬IO密集型")
看看結果
【多進程】-CPU計算密集型花費時間:9.082211017608643秒
【多進程】-磁盤IO密集型花費時間:1.287339448928833秒
【多進程】-網絡IO密集型花費時間:0.13074755668640137秒
【多進程】-模擬IO密集型花費時間:2.0076842308044434秒
3. 性能對比成果總結
將結果匯總一下,制成表格。
我們來分析下這個表格。
首先是CPU密集型
,多線程以對比單線程,不僅沒有優勢,顯然還由于要不斷的加鎖釋放GIL全局鎖,切換線程而耗費大量時間,效率低下,而多進程,由于是多個CPU同時進行計算工作,相當于十個人做一個人的作業,顯然效率是成倍增長的。
然后是IO密集型,IO密集型
可以是磁盤IO
,網絡IO
,數據庫IO
等,都屬于同一類,計算量很小,主要是IO等待時間的浪費。通過觀察,可以發現,我們磁盤IO,網絡IO的數據,多線程對比單線程也沒體現出很大的優勢來。這是由于我們程序的的IO任務不夠繁重,所以優勢不夠明顯。
所以我還加了一個「模擬IO密集型
」,用sleep
來模擬IO等待時間,就是為了體現出多線程的優勢,也能讓大家更加直觀的理解多線程的工作過程。單線程需要每個線程都要sleep(2)
,10個線程就是20s
,而多線程,在sleep(2)
的時候,會切換到其他線程,使得10個線程同時sleep(2)
,最終10個線程也就只有2s
.
可以得出以下幾點結論
單線程總是最慢的,多進程總是最快的。
多線程適合在IO密集場景下使用,譬如爬蟲,網站開發等
多進程適合在對CPU計算運算要求較高的場景下使用,譬如大數據分析,機器學習等
多進程雖然總是最快的,但是不一定是最優的選擇,因為它需要CPU資源支持下才能體現優勢
審核編輯:符乾江
-
多線程
+關注
關注
0文章
278瀏覽量
19988 -
python
+關注
關注
56文章
4797瀏覽量
84739
發布評論請先 登錄
相關推薦
評論