0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

go语言代码中使用HTTP代理IP的方法

华益云HTTP爬虫IP 来源:华益云HTTP爬虫IP 作者:华益云HTTP爬虫IP 2022-08-04 16:13 次阅读

如何在go语言代码中使用HTTP代理IP。

以下代码主要围绕第一次接触HTTP代理IP的go新手来写(步骤注释清晰)。

直接把下面示例代码中的HTTP代理API,替换成你后台生成的代理API链接,就可以跑起来了。

以下是一个示例代码,只是一个基础的演示,具体的代码还是要根据你业务的实际情况去写的。

示例代码中的HTTP代理IP,我使用的是华益云的HTTP代理API,注册就能白嫖1万个高匿爬虫IP,有效期是一年,对于调试代码来说这个时间是非常的友好。

华益云-企业级HTTP爬虫代理IP供应商-点我免费领取示例代码demo中同款10000个高匿IP

打开代理API,获取里面的IP,使用IP访问目标网站,其实代码中就是执行这个过程而已,然后加了几个错误判断有助于代码的稳定运行。(步骤注释清晰)

package main

import (
	"errors"
	"fmt"
	"io/ioutil"
	"log"
	"net/http"
	"net/url"
	"strings"
	"time"
)

func main() {
	// 发送给服务器的标识
	userAgent := "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/532.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"
	// 代理api(这里我推荐使用www.9vps.com华益云的HTTP代理API,注册就送1万IP)
	proxyUrl := "http://http.9vps.com/getip.asp?username=166xxxx6597&pwd=xxxxbaa59ce237dff65134984b9cxxxx&geshi=1&fenge=1&fengefu=&Contenttype=1&getnum=20&setcity=&operate=all&"
	outPutProxy, _ := getProxy(proxyUrl, userAgent)
	if len(outPutProxy) == 0 {
		// 没有获取到代理
		return
	}
	// 目标请求网站
	url := "https://www.qq.com/"
	var out string = ""
	for i := 0; i < 3; i++ {
		// 最多尝试三次
		px := outPutProxy[0]
		outPutProxy = append(outPutProxy[:0], outPutProxy[1:]...)
		fmt.Println("using proxy ", px)
		response, err := requestGet(url, userAgent, "http://"+px)
		out = fmt.Sprintf("%s", response)
		if err == nil {
			// 这里说明请求成功了,直接可以退出循环了
			fmt.Println(out)
			break
		} else {
			if len(outPutProxy) == 0 {
				// 没有代理了再次获取下
				outPutProxy, err = getProxy(proxyUrl, userAgent)
				if err != nil {
					log.Fatalln(err)
				}
			}
		}
	}
	// 最终的响应内容
	fmt.Println(out)
}
func getProxy(proxyUrl string, userAgent string) ([]string, error) {
	var outPutProxy []string
	proxyIps, err := requestGet(proxyUrl, userAgent, "")
	fmt.Println(proxyIps)
	if err != nil {
		return outPutProxy, err
	}
	// {"code":3002,"data":[],"msg":"error!用户名或密码错误","success":false}
	if strings.Index(proxyIps, "{") > -1 {
		return outPutProxy, errors.New(proxyIps)
	}
	outPutProxy = strings.Split(proxyIps, "\r\n")
	fmt.Printf("总共获取了%d个代理\n", len(outPutProxy))
	return outPutProxy, nil

}

func requestGet(reqUrl string, userAgent string, proxyAddr string) (string, error) {
	var client http.Client
	if proxyAddr != "" {
		// 有代理的情况
		proxy, err := url.Parse(proxyAddr)
		if err != nil {
			return "", err
		}
		client = http.Client{
			Timeout:   5 * time.Second, // 5秒最大超时
			Transport: &http.Transport{Proxy: http.ProxyURL(proxy)},
		}
	} else {
		client = http.Client{
			Timeout: 5 * time.Second, // 5秒最大超时
		}
	}
	// 创建新的Request对象
	req, err := http.NewRequest("GET", reqUrl, nil)
	if err != nil {
		return "", err
	}
	// 设置请求头
	req.Header.Set("user-agent", userAgent)
	// 向服务器发送请求
	resp, err := client.Do(req)
	if err != nil {
		return "", err
	}
	// 读取响应内容
	body, err := ioutil.ReadAll(resp.Body)
	if err != nil {
		return "", err
	}
	// 将响应内容转为string类型
	response := string(body)
	return response, nil
}

或者直接百度搜索:华益云HTTP代理

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • HTTP
    +关注

    关注

    0

    文章

    505

    浏览量

    31210
  • 代码
    +关注

    关注

    30

    文章

    4786

    浏览量

    68552
  • go语言
    +关注

    关注

    1

    文章

    158

    浏览量

    9047
收藏 人收藏

    评论

    相关推荐

    如何在java代码中使HTTP代理IP

    如何在java代码中使HTTP代理IP
    的头像 发表于 08-04 15:38 2222次阅读

    python代码中使HTTP代理IP,demo注释清晰

    如何再python代码中使HTTP代理IP。 以下代码主要围绕第一次接触
    的头像 发表于 08-04 15:40 1045次阅读

    如何在python代码中使HTTP代理IP

    如何在python代码中使HTTP代理IP
    的头像 发表于 08-04 15:46 1282次阅读

    如何在PHP代码中使HTTP代理IP

    如何在PHP代码中使HTTP代理IP
    的头像 发表于 08-04 16:08 2443次阅读

    如何在易e语言代码中使HTTP代理IP

    如何在易e语言代码中使HTTP代理IP,示例代码d
    的头像 发表于 08-05 16:29 6936次阅读

    如何在c语言代码中使HTTP代理IP

    如何在c语言代码中使HTTP代理IP,示例代码de
    的头像 发表于 08-05 16:31 2348次阅读

    如何在c#语言代码中使HTTP代理IP

    如何在c#语言代码中使HTTP代理IP,示例代码d
    的头像 发表于 08-05 16:33 2600次阅读

    python中怎么使用HTTP代理

    python中怎么使用HTTP代理,华益云高匿爬虫代理ip
    的头像 发表于 09-01 14:36 1618次阅读

    PHP中怎么使用HTTP代理

    PHP中怎么使用HTTP代理,华益云高匿爬虫代理ip
    的头像 发表于 09-01 14:38 1747次阅读

    go语言中怎么使用HTTP代理

    go语言中怎么使用HTTP代理
    的头像 发表于 09-01 14:41 2418次阅读

    e易语言中怎么使用HTTP代理

    e易语言中怎么使用HTTP代理
    的头像 发表于 09-01 14:42 3808次阅读

    c语言中怎么使用HTTP代理

    如何再c语言代码中使HTTP代理IP
    的头像 发表于 09-01 14:44 1405次阅读

    c#语言中怎么使用HTTP代理

    c#语言中怎么使用HTTP代理
    的头像 发表于 09-01 14:46 2150次阅读

    python代码中如何使用HTTP代理

    华益云HTTP代理API有效期是一年,也就是说一年内这1万IP用完就没了,如果你一年都用不完那到时候剩余IP才会被清零,对于调试代码来说时间
    的头像 发表于 09-01 14:50 894次阅读

    如何在python代码中使HTTP代理IP

    如何再python代码中使HTTP代理IP
    的头像 发表于 09-13 09:25 1000次阅读