在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

windows下如何新建爬蟲虛擬環境和進行Scrapy安裝

電子設計 ? 來源:電子設計 ? 作者:電子設計 ? 2020-12-25 18:03 ? 次閱讀

Scrapy是Python開發的一個快速、高層次的屏幕抓取和web抓取框架,用于抓取web站點并從頁面中提取結構化的數據。Scrapy吸引人的地方在于它是一個框架,任何人都可以根據需求方便的修改。Scrapy用途廣泛,可以用于數據挖掘、監測和自動化測試。

1、關于虛擬環境的創建可以參考之前發布的兩篇博文,在Windows下如何創建指定的虛擬環境和在Windows下如何創建虛擬環境(默認情況下)。下面在指定的文件夾下,直接先創建環境,在命令行輸入環境創建命令“virtualenv --python=C:Python34python.exe scrapy_demo”,指定Python的版本和路徑,以及虛擬環境的名字scrapy_demo,其中虛擬環境可以自己進行修改,這里命名為scrapy_demo。

2、爾后進入到scrapy_demo文件夾下,找到Scripts文件夾,輸入activate.bat以激活虛擬環境,步驟如下圖所示。之后可以看到scrapy_demo被括號括起來了,說明進入了環境,在命令行中輸入python,可以看到直接彈出Python3的環境。

3、新建完虛擬環境之后,接下來就開始安裝Scrapy,輸入安裝命令“pip install Scrapy”或者“pip install -i https://pypi.douban.com/simple/ Scrapy”,后面這個命令是通過豆瓣源鏡像進行下載,速度會快很多,而且較為穩定,建議使用該方法進行安裝,Python中的其他庫也建議用該命令進行安裝,十分的方便快捷。輸入命令之后,等待Scrapy的安裝,如下圖所示。

4、可以看到Scrapy的安裝速度非常快,因為我們使用了鏡像進行下載。不過稍等片刻之后可能會碰到timeout的問題,這是由于Scrapy安裝的過程中需要很多依賴包,導致下載過程中會遇到網絡延時的問題,此時只需要重新輸入安裝命令進行安裝即可。除了timeout的問題之外,可能還會碰到下圖這個問題。

5、這個問題的出現是因為缺乏Twisted依賴包,此時通過“pip install twisted”可能有問題,在Python包網站,里邊的Python包專門用于Windows下的安裝的。在網頁中找到Twisted安裝包,然后選擇本機Python對應版本和電腦系統位數的安裝包,小編的電腦是64位的,而且Python版本是Python3.4,所以下載的包如下圖紅色框框所示。

審核編輯:符乾江
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • WINDOWS
    +關注

    關注

    4

    文章

    3553

    瀏覽量

    88985
  • 應用軟件
    +關注

    關注

    0

    文章

    52

    瀏覽量

    9112
收藏 人收藏

    評論

    相關推薦

    Ubuntu系統的虛擬安裝步驟 如何在Ubuntu系統上編譯軟件

    updatesudo apt install virtualbox 2. 下載虛擬機鏡像 你需要一個操作系統的ISO鏡像文件來安裝虛擬機。你可以從操作系統的官方網站下載ISO文件,例如Win
    的頭像 發表于 12-12 14:36 ?406次閱讀

    如何在Windows安裝Ubuntu系統

    Windows安裝Ubuntu系統通常有兩種方法:使用虛擬機軟件安裝Ubuntu作為虛擬機,或者使用雙啟動
    的頭像 發表于 12-12 14:29 ?685次閱讀

    如何在虛擬機上安裝deepin系統

    如果你想在 Windows、macOS 或 Linux 發行版上體驗 deepin 系統,但又不想冒險破壞現在的電腦系統環境,通過虛擬機來安裝則是一個理想的選擇。
    的頭像 發表于 12-05 14:43 ?319次閱讀
    如何在<b class='flag-5'>虛擬</b>機上<b class='flag-5'>安裝</b>deepin系統

    干貨!基于RK3568的 AI 人工智能環境搭建步驟

    ==3.11 7、進入虛擬環境 conda activate rk3568-python 8、安裝opencv-python pip install opencv-python - i https
    發表于 11-12 09:43

    Docker運行環境安裝

    、發布、測試和部署,可以幫助開發人員將最新版本代碼應用到生產環境中。 Docker可以安裝在多個平臺中,包括Mac、Windows和Linux。不過,生產環境還是推薦在Linux上運行
    的頭像 發表于 10-29 11:28 ?241次閱讀

    全球視野的海外爬蟲IP:趨勢、機遇與風險

    在全球視野,海外爬蟲IP的使用呈現出一系列趨勢,同時也伴隨著機遇與風險。
    的頭像 發表于 10-15 07:54 ?234次閱讀

    如何利用海外爬蟲IP進行數據抓取

    利用海外爬蟲IP進行數據抓取需要綜合考慮多個方面。
    的頭像 發表于 10-12 07:54 ?228次閱讀

    使用NVIDIA Edify助力的服務創建3D資產和虛擬環境照明

    使用 NVIDIA Edify 助力的服務創建 3D 資產和虛擬環境照明,或是減半生成圖像時間。
    的頭像 發表于 08-02 15:22 ?562次閱讀

    用pycharm進行python爬蟲的步驟

    以下是使用PyCharm進行Python爬蟲的步驟: 安裝PyCharm和Python 首先,您需要安裝PyCharm和Python。PyCharm是一個流行的Python集成開發
    的頭像 發表于 07-11 10:11 ?899次閱讀

    windowsidf-tools安裝進行到 “Switching branch”時失敗了的原因?

    windowsidf-tools安裝進行到 “Switching branch”時失敗 安裝時選擇的版本為4.2 4.3版本可以正常安裝
    發表于 06-21 07:19

    使用官方教程搭建Windows的Eclipse IDE環境出錯怎么解決?

    使用官方教程搭建Windows的Eclipse IDE環境出錯,不知該如何解決?
    發表于 06-18 06:50

    用離線安裝安裝的idf,其創建的Python虛擬環境無激活腳本是怎么回事?

    如題,用離線安裝安裝的idf,其創建的Python虛擬環境無激活腳本,具體如下圖所示: 反而用vscode插件安裝的idf有,如下圖:vscode插件
    發表于 06-11 06:49

    鴻蒙OpenHarmony【搭建Windows環境

    支持在Windows環境進行編譯,如Hi3861、Hi3516系列開發板。因此,建議使用Ubuntu的編譯環境對源碼
    的頭像 發表于 04-19 15:42 ?633次閱讀
    鴻蒙OpenHarmony【搭建<b class='flag-5'>Windows</b><b class='flag-5'>環境</b>】

    【Longan Pi 3H 開發板試用連載體驗】給ChatGPT裝上眼睛,并且還可以語音對話:4,項目開發環境搭建

    項目環境搭建 從這一期開始我們要正式開始做項目。項目的開發環境是python,Longan Pi中已經預先安裝了Python 3.11。出于多用途使用考慮,我們最好給每一個項目新建一個
    發表于 04-12 15:39

    STM32CubeMX 4.4.0突然無法使用了,反復卸載和安裝都不行怎么解決?

    STM32CubeMX 4.4.0突然無法使用了,反復卸載和安裝都無濟于事。 MicroXplorer 3.2倒是可以使用。操作系統是WIN7-X64,裝有最新的JAVA 32位和64位虛擬環境
    發表于 03-07 07:20
    主站蜘蛛池模板: 操综合网| 色偷偷视频| 亚色影视| 俺也啪| 天天摸天天看天天爽| 狠狠色婷婷狠狠狠亚洲综合| 香港三级理论在线影院| 亚洲精品一区二区中文| 黄网免费| 天天躁狠狠躁| 99久久综合精品免费| 激情五月综合婷婷| 日本三级精品| 亚洲国产高清人在线| 污污的网站免费阅读| 国产成人啪午夜精品网站| 一区二区三区网站在线免费线观看| 国产人人看| 久久刺激| 深夜在线视频免费网址| a级特黄毛片| 天天热天天干| 国产理论精品| 一区二区三区精品视频| 国产亚洲欧美日本一二三本道| 天天爱天天做天天爽天天躁| 一级片免费看| www.色多多| 国产成人三级| 黄色美女网站在线观看| 成人五级毛片免费播放| 国产三级毛片视频| 特级毛片免费看| 亚洲aaaa级特黄毛片| 日日艹| 日本三级免费看| 黄色18网站| 天天操狠狠干| 123成人网| 黄网站在线观看高清免费| 视频一区二区三区在线观看|