世界焦點!Python爬蟲-第四章-1-多線程多進程并發爬取Ⅱ

2023-01-16 11:26:49 來源:51CTO博客


(資料圖片)

線程池使用案例:

一次性開辟一些線程,用戶直接給線程池提交任務,線程任務的調度交給線程池
# Demo Describe:線程池和進程池from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor# start--------1,線程池----------------------def fn(name):    for i in range(1000):        print(name, i)if __name__ == "__main__":    # 線程池里開啟50個線程處理任務    with ThreadPoolExecutor(50) as t:        for i in range(100):            t.submit(fn, name=f"線程{i}")    print("處理完畢")  # 線程池任務完畢才會繼續執行-線程守護# end--------1,線程池----------------------# start--------2,進程池----------------------# def fn(name):#     for i in range(1000):#         print(name,i)## if __name__ == "__main__":#     # 線程池里開啟50個線程處理任務#     with ProcessPoolExecutor(50) as t:#         for i in range(100):#             t.submit(fn,name=f"線程{i}")#     print("處理完畢")   # 線程池任務完畢才會繼續執行-線程守護# end--------2,進程池----------------------

標簽: 繼續執行

上一篇:全球要聞:基于阿里云的 Terraform 入門實戰
下一篇:今日報丨跳躍表數據結構與算法分析