在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

python多線程和多進程的對比

python爬蟲知識分享 ? 來源:python爬蟲知識分享 ? 作者:python爬蟲知識分享 ? 2022-03-15 16:42 ? 次閱讀

1. 基本概念

在開始講解理論知識之前,先過一下幾個基本概念。雖然咱是進階教程,但我也希望寫得更小白,更通俗易懂。

串行:一個人在同一時間段只能干一件事,譬如吃完飯才能看電視;

并行:一個人在同一時間段可以干多件事,譬如可以邊吃飯邊看電視;

Python中,多線程協程 雖然是嚴格上來說是串行,但卻比一般的串行程序執行效率高得很。 一般的串行程序,在程序阻塞的時候,只能干等著,不能去做其他事。就好像,電視上播完正劇,進入廣告時間,我們卻不能去趁廣告時間是吃個飯。對于程序來說,這樣做顯然是效率極低的,是不合理的。

雖然 多線程協程 已經相當智能了。但還是不夠高效,最高效的應該是一心多用,邊看電視邊吃飯邊聊天。這就是我們的 多進程 才能做的事了。

2. 單線程VS多線程VS多進程

文字總是蒼白無力的,不如用代碼直接來測試一下。

開始對比之前,首先定義四種類型的場景

- CPU計算密集型

- 磁盤IO密集型

- 網絡IO密集型

- 【模擬】IO密集型

為什么是這幾種場景,這和多線程 多進程的適用場景有關。結論里,我再說明。

# CPU計算密集型
def count(x=1, y=1):
    # 使程序完成150萬計算
    c = 0
    while c < 500000:
        c += 1
        x += x
        y += y


# 磁盤讀寫IO密集型
def io_disk():
    with open("file.txt", "w") as f:
        for x in range(5000000):
            f.write("python-learning\n")


# 網絡IO密集型
header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'}
url = "https://www.tieba.com/"

def io_request():
    try:
        webPage = requests.get(url, headers=header)
        html = webPage.text
        return
    except Exception as e:
        return {"error": e}


# 【模擬】IO密集型
def io_simulation():
    time.sleep(2)

比拼的指標,我們用時間來考量。時間耗費得越少,說明效率越高。

為了方便,使得代碼看起來,更加簡潔,我這里先定義是一個簡單的 時間計時器 的裝飾器。 如果你對裝飾器還不是很了解,也沒關系,你只要知道它是用于 計算函數運行時間的東西就可以了。

def timer(mode):
    def wrapper(func):
        def deco(*args, **kw):
            type = kw.setdefault('type', None)
            t1=time.time()
            func(*args, **kw)
            t2=time.time()
            cost_time = t2-t1
            print("{}-{}花費時間:{}秒".format(mode, type,cost_time))
        return deco
    return wrapper

第一步,先來看看單線程的
@timer("【單線程】")
def single_thread(func, type=""):
    for i in range(10):
              func()

# 單線程
single_thread(count, type="CPU計算密集型")
single_thread(io_disk, type="磁盤IO密集型")
single_thread(io_request,type="網絡IO密集型")
single_thread(io_simulation,type="模擬IO密集型")

看看結果

【單線程】-CPU計算密集型花費時間:83.42633867263794秒
【單線程】-磁盤IO密集型花費時間:15.641993284225464秒
【單線程】-網絡IO密集型花費時間:1.1397218704223633秒
【單線程】-模擬IO密集型花費時間:20.020972728729248秒

第二步,再來看看多線程的

@timer("【多線程】")
def multi_thread(func, type=""):
    thread_list = []
    for i in range(10):
        t=Thread(target=func, args=())
        thread_list.append(t)
        t.start()
    e = len(thread_list)

    while True:
        for th in thread_list:
            if not th.is_alive():
                e -= 1
        if e <= 0:
            break

# 多線程
multi_thread(count, type="CPU計算密集型")
multi_thread(io_disk, type="磁盤IO密集型")
multi_thread(io_request, type="網絡IO密集型")
multi_thread(io_simulation, type="模擬IO密集型")

看看結果

【多線程】-CPU計算密集型花費時間:93.82986998558044秒
【多線程】-磁盤IO密集型花費時間:13.270896911621094秒
【多線程】-網絡IO密集型花費時間:0.1828296184539795秒
【多線程】-模擬IO密集型花費時間:2.0288875102996826秒

第三步,最后來看看多進程

@timer("【多進程】")
def multi_process(func, type=""):
    process_list = []
    for x in range(10):
        p = Process(target=func, args=())
        process_list.append(p)
        p.start()
    e = process_list.__len__()

    while True:
        for pr in process_list:
            if not pr.is_alive():
                e -= 1
        if e <= 0:
            break

# 多進程
multi_process(count, type="CPU計算密集型")
multi_process(io_disk, type="磁盤IO密集型")
multi_process(io_request, type="網絡IO密集型")
multi_process(io_simulation, type="模擬IO密集型")

看看結果

【多進程】-CPU計算密集型花費時間:9.082211017608643秒
【多進程】-磁盤IO密集型花費時間:1.287339448928833秒
【多進程】-網絡IO密集型花費時間:0.13074755668640137秒
【多進程】-模擬IO密集型花費時間:2.0076842308044434秒

3. 性能對比成果總結

將結果匯總一下,制成表格。

https://file.elecfans.com//web2/M00/36/11/poYBAGIwUWCALmJbAADPTR8eNVs753.png

我們來分析下這個表格。

首先是CPU密集型,多線程以對比單線程,不僅沒有優勢,顯然還由于要不斷的加鎖釋放GIL全局鎖,切換線程而耗費大量時間,效率低下,而多進程,由于是多個CPU同時進行計算工作,相當于十個人做一個人的作業,顯然效率是成倍增長的。

然后是IO密集型,IO密集型可以是磁盤IO網絡IO數據庫IO等,都屬于同一類,計算量很小,主要是IO等待時間的浪費。通過觀察,可以發現,我們磁盤IO,網絡IO的數據,多線程對比單線程也沒體現出很大的優勢來。這是由于我們程序的的IO任務不夠繁重,所以優勢不夠明顯。

所以我還加了一個「模擬IO密集型」,用sleep來模擬IO等待時間,就是為了體現出多線程的優勢,也能讓大家更加直觀的理解多線程的工作過程。單線程需要每個線程都要sleep(2),10個線程就是20s,而多線程,在sleep(2)的時候,會切換到其他線程,使得10個線程同時sleep(2),最終10個線程也就只有2s.

可以得出以下幾點結論

單線程總是最慢的,多進程總是最快的。

多線程適合在IO密集場景下使用,譬如爬蟲,網站開發等

多進程適合在對CPU計算運算要求較高的場景下使用,譬如大數據分析,機器學習

多進程雖然總是最快的,但是不一定是最優的選擇,因為它需要CPU資源支持下才能體現優勢

審核編輯:符乾江

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 多線程
    +關注

    關注

    0

    文章

    278

    瀏覽量

    19988
  • python
    +關注

    關注

    56

    文章

    4797

    瀏覽量

    84739
收藏 人收藏

    評論

    相關推薦

    socket 多線程編程實現方法

    是指在同一個進程中運行多個線程,每個線程可以獨立執行任務。線程共享進程的資源,如內存空間和文件句柄,但每個
    的頭像 發表于 11-12 14:16 ?377次閱讀

    Python多線程多進程的區別

    Python作為一種高級編程語言,提供了多種并發編程的方式,其中多線程多進程是最常見的兩種方式之一。在本文中,我們將探討Python多線程
    的頭像 發表于 10-23 11:48 ?410次閱讀
    <b class='flag-5'>Python</b>中<b class='flag-5'>多線程</b>和<b class='flag-5'>多進程</b>的區別

    一文掌握Python多線程

    使用線程可以把占據長時間的程序中的任務放到后臺去處理。
    的頭像 發表于 08-05 15:46 ?868次閱讀

    ESP32會不會有多線程問題,需要加鎖嗎?

    ESP32會不會有多線程問題,需要加鎖嗎
    發表于 07-19 08:05

    多線程設計模式到對 CompletableFuture 的應用

    最近在開發 延保服務 頻道頁時,為了提高查詢效率,使用到了多線程技術。為了對多線程方案設計有更加充分的了解,在業余時間讀完了《圖解 Java 多線程設計模式》這本書,覺得收獲良多。本篇文章將介紹其中
    的頭像 發表于 06-26 14:18 ?367次閱讀
    從<b class='flag-5'>多線程</b>設計模式到對 CompletableFuture 的應用

    一句話讓你理解線程進程

    今天給大家分享一下線程進程,主要包含以下幾部分內容:一句話說明線程進程操作系統為什么需要進程為什么要引入
    的頭像 發表于 06-04 08:04 ?1222次閱讀
    一句話讓你理解<b class='flag-5'>線程</b>和<b class='flag-5'>進程</b>

    bootloader開多線程做引導程序,跳app初始化后直接進hardfualt,為什么?

    如標題,想做一個遠程升級的項目,bootloader引導區域和app都是開多線程跑的,就是自己寫了個小的任務調度器,沒什么功能主要是想讓程序快速的響應,延時不會對其他程序造成堵塞,程序測試
    發表于 04-18 06:07

    鴻蒙APP開發:【ArkTS類庫多線程】TaskPool和Worker的對比

    TaskPool(任務池)和Worker的作用是為應用程序提供一個多線程的運行環境,用于處理耗時的計算任務或其他密集型任務。可以有效地避免這些任務阻塞主線程,從而最大化系統的利用率,降低整體資源消耗,并提高系統的整體性能。
    的頭像 發表于 03-26 22:09 ?659次閱讀
    鴻蒙APP開發:【ArkTS類庫<b class='flag-5'>多線程</b>】TaskPool和Worker的<b class='flag-5'>對比</b>

    鴻蒙原生應用開發-ArkTS語言基礎類庫多線程TaskPool和Worker的對比(一)

    TaskPool(任務池)和Worker的作用是為應用程序提供一個多線程的運行環境,用于處理耗時的計算任務或其他密集型任務。可以有效地避免這些任務阻塞主線程,從而最大化系統的利用率,降低整體資源消耗
    發表于 03-25 14:11

    java實現多線程的幾種方式

    Java實現多線程的幾種方式 多線程是指程序中包含了兩個或以上的線程,每個線程都可以并行執行不同的任務或操作。Java中的多線程可以提高程序
    的頭像 發表于 03-14 16:55 ?718次閱讀

    python中5種線程鎖盤點

    線程安全是多線程多進程編程中的一個概念,在擁有共享數據的多條線程并行執行的程序中,線程安全的代碼會通過同步機制保證各個
    發表于 03-07 11:08 ?1599次閱讀
    <b class='flag-5'>python</b>中5種<b class='flag-5'>線程</b>鎖盤點

    AT socket可以多線程調用嗎?

    請問AT socket 可以多線程調用嗎? 有互鎖機制嗎,還是要自己做互鎖。
    發表于 03-01 08:22

    線程是什么的基本單位 進程線程的本質區別

    線程是操作系統中處理器調度的基本單位,它代表著獨立的執行流。在一個進程中,可以包含多個線程,這些線程共享相同的進程資源,如內存空間、文件描述
    的頭像 發表于 02-02 16:30 ?951次閱讀

    線程進程多線程多進程和多任務之間有何關系?

    進程是程序執行時的一個實例,即它是程序已經執行到課中程度的數據結構的匯集。從內核的觀點看,進程的目的就是擔當分配系統資源(CPU時間、內存等)的基本單位。
    的頭像 發表于 01-11 13:39 ?366次閱讀
    <b class='flag-5'>線程</b>、<b class='flag-5'>進程</b>、<b class='flag-5'>多線程</b>、<b class='flag-5'>多進程</b>和多任務之間有何關系?

    mcu線程進程的區別是什么

    MCU線程進程是嵌入式系統中常見的并行執行的概念,它們之間有許多區別,包括線程進程的定義、資源管理、通信機制、執行方式等等。下面將詳細介紹MCU
    的頭像 發表于 01-04 10:45 ?766次閱讀
    主站蜘蛛池模板: 免费的黄色片| 天堂中文资源网| 色噜噜狠狠色综合欧洲| 亚洲一区二区视频| 奇米奇米| 伊人yinren6综合网色狠狠| 美女网站在线观看视频18| 亚洲人成电影在线观看网| 一区二区视频| 成人午夜网站| 热久久影院| 国产伦精品一区二区三区高清| 一本大道加勒比久久综合| 国模在线视频| 男女网站在线观看| 特别黄的免费视频大片| 伊人涩| 亚洲一区二区三区在线网站 | 色吧首页| 亚洲jizzjizz在线播放久| 欧美成人a| 免费在线视频播放| 国产精品午夜在线观看| 日本xx69| 窝窝午夜在线观看免费观看| 欧美黄色录像视频| 天天操天天干视频| 午夜视频在线观看国产www| 扒开双腿疯狂进出爽爽爽| 激情文学亚洲色图| 么公的好大好硬好深好爽在线视频| 九九色网站| 久久久五月| 狠狠躁夜夜躁人人爽天天3 | 黄网站视频| 这里只有精品视频| 在线日韩一区| 日韩一级欧美一级一级国产| 色婷婷亚洲综合五月| 四虎影视在线看| 色猫av|