curl文件下載工具的使用方法
curl是一個利用URL語法在命令行方式下工作的文件傳輸工具。本文介紹了它的簡單用法。 |
curl是一個利用URL語法在命令行方式下工作的文件傳輸工具。它支持很多協議:FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP。curl同樣支持HTTPS認證,HTTP POST方法, HTTP PUT方法, FTP上傳, kerberos認證, HTTP上傳, 代理服務器, cookies, 用戶名/密碼認證, 下載文件斷點續傳, 上載文件斷點續傳, http代理服務器管道( proxy tunneling), 甚至它還支持IPv6, socks5代理服務器, 通過http代理服務器上傳文件到FTP服務器等等,功能十分強大。Windows操作系統下的網絡螞蟻,網際快車(FlashGet)的功能它都可以做到。準確的說,curl支持文件的上傳和下載,所以是一個綜合傳輸工具,但是按照傳統,用戶習慣稱curl為下載工具。 那么瀏覽器上會出現一個文本框和一個標為“OK”的按鈕。按下這個按鈕,表單就用GET方法向服務器提交文本框的數據。例如原始頁面是在www.hotmail.com/when/birth.html看到的,然后您在文本框中輸入1905,然后按OK按鈕,那么瀏覽器的URL現在應該是:“www.hotmail.com/when/junk.cgi?birthyear=1905&press=OK” 對于這種網頁,curl可以直接處理,例如想獲取上面的網頁,只要輸入: curl "www.hotmail.com/when/junk.cgi?birthyear=1905&press=OK" 就可以了。 表單用來提交信息的第二種方法叫做POST方法,POST方法和GET方法的區別在于GET方法使用的時候,瀏覽器中會產生目標URL,而POST不會。類似GET,這里有一個網頁: 瀏覽器上也會出現一個文本框和一個標為“OK”的按鈕。按下這個按鈕,表單用POST方法向服務器提交數據。這時的URL是看不到的,因此需要使用特殊的方法來抓取這個頁面: curl -d "birthyear=1905&press=OK" www.hotmail.com/when/junk.cgi 這個命令就可以做到。 1995年年末,RFC 1867定義了一種新的POST方法,用來上傳文件。主要用于把本地文件上傳到服務器。此時頁面是這樣寫的: 對于這種頁面,curl的用法不同: curl -F upload=@localfilename -F press=OK [URL] 這個命令的實質是將本地的文件用POST上傳到服務器。有關POST還有不少用法,用戶可以自己摸索。 3、使用PUT方法。 HTTP協議文件上傳的標準方法是使用PUT,此時curl命令使用-T參數: curl -T uploadfile www.uploadhttp.com/receive.cgi 4、有關認證。 curl可以處理各種情況的認證頁面,例如下載用戶名/密碼認證方式的頁面(在IE中通常是出現一個輸入用戶名和密碼的輸入框): curl -u name:password www.secrets.com 如果網絡是通過http代理服務器出去的,而代理服務器需要用戶名和密碼,那么輸入: curl -U proxyuser:proxypassword http://curl.haxx.se 任何需要輸入用戶名和密碼的時候,只在參數中指定用戶名而空著密碼,curl可以交互式的讓用戶輸入密碼。 5、引用。 有些網絡資源訪問的時候必須經過另外一個網絡地址跳轉過去,這用術語來說是:referer,引用。對于這種地址的資源,curl也可以下載: curl -e http://curl.haxx.se daniel.haxx.se 6、指定用戶客戶端。 有些網絡資源首先需要判斷用戶使用的是什么瀏覽器,符合標準了才能夠下載或者瀏覽。此時curl可以把自己“偽裝”成任何其他瀏覽器: curl -A "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)" [URL] 這個指令表示curl偽裝成了IE5.0,用戶平臺是Windows 2000。(對方服務器是根據這個字串來判斷客戶端的類型的,所以即使使用AIX也無所謂)。使用: curl -A "Mozilla/4.73 [en] (X11; U; Linux 2.2.15 i686)" [URL] 此時curl變成了Netscape,運行在PIII平臺的Linux上了。 7、COOKIES Cookie是服務器經常使用的一種記憶客戶信息的方法。如果cookie被記錄在了文件中,那么使用命令: curl -b stored_cookies_in_file www.cookiesite.com curl可以根據舊的cookie寫出新cookie并發送到網站: curl -b cookies.txt -c newcookies.txt www.cookiesite.com 8、加密的HTTP——HTTPS。 如果是通過OpenSSL加密的https協議傳輸的網頁,curl可以直接訪問: curl https://that.secure.server.com 9、http認證。 如果是采用證書認證的http地址,證書在本地,那么curl這樣使用: curl -E mycert.pem https://that.secure.server.com 參考讀物和注意事項:curl非常博大,用戶要想使用好這個工具,除了詳細學習參數之外,還需要深刻理解http的各種協議與URL的各個語法。這里推薦幾個讀物: |
評論
查看更多