如何在go語言代碼中使用HTTP代理IP。
以下代碼主要圍繞第一次接觸HTTP代理IP的go新手來寫(步驟注釋清晰)。
直接把下面示例代碼中的HTTP代理API,替換成你后臺生成的代理API鏈接,就可以跑起來了。
以下是一個示例代碼,只是一個基礎的演示,具體的代碼還是要根據你業務的實際情況去寫的。
示例代碼中的HTTP代理IP,我使用的是華益云的HTTP代理API,注冊就能白嫖1萬個高匿爬蟲IP,有效期是一年,對于調試代碼來說這個時間是非常的友好。
華益云-企業級HTTP爬蟲代理IP供應商-點我免費領取示例代碼demo中同款10000個高匿IP
打開代理API,獲取里面的IP,使用IP訪問目標網站,其實代碼中就是執行這個過程而已,然后加了幾個錯誤判斷有助于代碼的穩定運行。(步驟注釋清晰)
package main import ( "errors" "fmt" "io/ioutil" "log" "net/http" "net/url" "strings" "time" ) func main() { // 發送給服務器的標識 userAgent := "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/532.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36" // 代理api(這里我推薦使用www.9vps.com華益云的HTTP代理API,注冊就送1萬IP) proxyUrl := "http://http.9vps.com/getip.asp?username=166xxxx6597&pwd=xxxxbaa59ce237dff65134984b9cxxxx&geshi=1&fenge=1&fengefu=&Contenttype=1&getnum=20&setcity=&operate=all&" outPutProxy, _ := getProxy(proxyUrl, userAgent) if len(outPutProxy) == 0 { // 沒有獲取到代理 return } // 目標請求網站 url := "https://www.qq.com/" var out string = "" for i := 0; i < 3; i++ { // 最多嘗試三次 px := outPutProxy[0] outPutProxy = append(outPutProxy[:0], outPutProxy[1:]...) fmt.Println("using proxy ", px) response, err := requestGet(url, userAgent, "http://"+px) out = fmt.Sprintf("%s", response) if err == nil { // 這里說明請求成功了,直接可以退出循環了 fmt.Println(out) break } else { if len(outPutProxy) == 0 { // 沒有代理了再次獲取下 outPutProxy, err = getProxy(proxyUrl, userAgent) if err != nil { log.Fatalln(err) } } } } // 最終的響應內容 fmt.Println(out) } func getProxy(proxyUrl string, userAgent string) ([]string, error) { var outPutProxy []string proxyIps, err := requestGet(proxyUrl, userAgent, "") fmt.Println(proxyIps) if err != nil { return outPutProxy, err } // {"code":3002,"data":[],"msg":"error!用戶名或密碼錯誤","success":false} if strings.Index(proxyIps, "{") > -1 { return outPutProxy, errors.New(proxyIps) } outPutProxy = strings.Split(proxyIps, "\r\n") fmt.Printf("總共獲取了%d個代理\n", len(outPutProxy)) return outPutProxy, nil } func requestGet(reqUrl string, userAgent string, proxyAddr string) (string, error) { var client http.Client if proxyAddr != "" { // 有代理的情況 proxy, err := url.Parse(proxyAddr) if err != nil { return "", err } client = http.Client{ Timeout: 5 * time.Second, // 5秒最大超時 Transport: &http.Transport{Proxy: http.ProxyURL(proxy)}, } } else { client = http.Client{ Timeout: 5 * time.Second, // 5秒最大超時 } } // 創建新的Request對象 req, err := http.NewRequest("GET", reqUrl, nil) if err != nil { return "", err } // 設置請求頭 req.Header.Set("user-agent", userAgent) // 向服務器發送請求 resp, err := client.Do(req) if err != nil { return "", err } // 讀取響應內容 body, err := ioutil.ReadAll(resp.Body) if err != nil { return "", err } // 將響應內容轉為string類型 response := string(body) return response, nil }
或者直接百度搜索:華益云HTTP代理
審核編輯:湯梓紅
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
HTTP
+關注
關注
0文章
505瀏覽量
31232 -
代碼
+關注
關注
30文章
4788瀏覽量
68617 -
go語言
+關注
關注
1文章
158瀏覽量
9050
發布評論請先 登錄
相關推薦
python代碼中如何使用HTTP代理
華益云HTTP代理API有效期是一年,也就是說一年內這1萬IP用完就沒了,如果你一年都用不完那到時候剩余IP才會被清零,對于調試代碼來說時間
評論