0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何在python代码中使用HTTP代理IP

华益云HTTP爬虫IP 来源:华益云HTTP爬虫IP 作者:华益云HTTP爬虫IP 2022-08-04 15:46 次阅读

如何在python代码中使用HTTP代理IP。

以下代码主要围绕第一次接触HTTP代理IP的python新手来写。(步骤注释清晰)

直接把下面示例代码中的HTTP代理API,替换成你后台生成的代理API链接,就可以跑起来了。

以下是一个示例代码,只是一个基础的演示,具体的代码还是要根据你业务的实际情况去写的。

示例代码中的HTTP代理IP,我使用的是华益云的HTTP代理,注册就送1万个高匿爬虫IP,有效期是一年,对于调试代码来说这个时间是非常的友好。(步骤注释清晰)

华益云-企业级HTTP爬虫代理IP供应商-点我免费领取示例代码demo中同款10000个高匿IP

打开代理API,获取里面的IP,使用IP访问目标网站,其实代码中就是执行这个过程而已,然后加了几个错误判断有助于代码的稳定运行。(步骤注释清晰)

# 需要安装此依赖
# pip install requests
import requests

def main():
    # 发送给服务器的标识
    userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/532.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"
    # 代理api(这里我推荐使用www.9vps.com华益云HTTP代理的API,注册就送1万IP)
    proxyUrl = "http://http.9vps.com/getip.asp?username=166xxxx6597&pwd=xxxxbaa59ce237dff65134984b9cxxxx&geshi=1&fenge=1&fengefu=&Contenttype=1&getnum=20&setcity=&operate=all&"
    # 请求代理url,获取代理ip 
    outPutProxy = getProxy(proxyUrl, userAgent)
    if len(outPutProxy)==0:
        # 没有获取到代理
        return
    
    # 目标请求网站
    url = "https://www.qq.com/"
    content = None
    for _ in range(0, 3):
        # 最多尝试三次
        try:
            # 从列表中取出一个代理出来
            px = outPutProxy.pop(0)
            proxy = {
                "http": "http://"+px,
                "https": "http://"+px
            }
            content = requestGet(url, userAgent, proxy)
            break
        except Exception as e:
            print(e)
            if (len(outPutProxy) == 0):
                # 如果发现没有代理了,就去获取下。
                outPutProxy = getProxy(proxyUrl, userAgent)
    
    print(content)
def getProxy(proxyUrl, userAgent):
    proxyIps=""
    outPutProxy = []
    try:
        proxyIps = requestGet(proxyUrl, userAgent, None)
        print(proxyIps)
        # {"code":3002,"data":[],"msg":"error!用户名或密码错误","success":false}
        if "{" in proxyIps:
            raise Exception("[错误]"+proxyIps)
        outPutProxy = proxyIps.split("\n")
        
    except Exception as e:
        print(e)
    print("总共获取了"+str(len(outPutProxy))+"个代理")
    return outPutProxy

def requestGet(url, userAgent, proxy):
    headers = {
        "User-Agent": userAgent
    }
    response = None
    if (proxy):
        # 有代理的时候走这个
        response = requests.get(url, headers=headers, timeout=5, proxies=proxy) 
    else:
        # 没有代理走这个
        response = requests.get(url, headers=headers, timeout=5)
    # 设置编码,防止乱码
    # requests 库会帮我们自动分析这个网页的字符编码
    response.encoding = response.apparent_encoding
    return response.text

main()

或者直接百度搜索:华益云HTTP代理

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • HTTP
    +关注

    关注

    0

    文章

    505

    浏览量

    31207
  • 代码
    +关注

    关注

    30

    文章

    4786

    浏览量

    68550
  • python
    +关注

    关注

    56

    文章

    4795

    浏览量

    84656
收藏 人收藏

    评论

    相关推荐

    何在java代码中使HTTP代理IP

    何在java代码中使HTTP代理IP
    的头像 发表于 08-04 15:38 2222次阅读

    python代码中使HTTP代理IP,demo注释清晰

    如何再python代码中使HTTP代理IP。 以下代码
    的头像 发表于 08-04 15:40 1045次阅读

    何在PHP代码中使HTTP代理IP

    何在PHP代码中使HTTP代理IP
    的头像 发表于 08-04 16:08 2443次阅读

    go语言代码中使HTTP代理IP的方法

    何在go语言代码中使HTTP代理IP
    的头像 发表于 08-04 16:13 3176次阅读

    何在易e语言代码中使HTTP代理IP

    何在易e语言代码中使HTTP代理IP,示例代码d
    的头像 发表于 08-05 16:29 6936次阅读

    何在c语言代码中使HTTP代理IP

    何在c语言代码中使HTTP代理IP,示例代码de
    的头像 发表于 08-05 16:31 2348次阅读

    何在c#语言代码中使HTTP代理IP

    何在c#语言代码中使HTTP代理IP,示例代码d
    的头像 发表于 08-05 16:33 2600次阅读

    java中怎么使用HTTP代理

    java中怎么使用HTTP代理,华益云python爬虫ip
    的头像 发表于 09-01 14:31 1685次阅读

    python中怎么使用HTTP代理

    python中怎么使用HTTP代理,华益云高匿爬虫代理ip
    的头像 发表于 09-01 14:36 1618次阅读

    PHP中怎么使用HTTP代理

    PHP中怎么使用HTTP代理,华益云高匿爬虫代理ip
    的头像 发表于 09-01 14:38 1745次阅读

    c语言中怎么使用HTTP代理

    如何再c语言代码中使HTTP代理IP
    的头像 发表于 09-01 14:44 1402次阅读

    python代码中如何使用HTTP代理

    华益云HTTP代理API有效期是一年,也就是说一年内这1万IP用完就没了,如果你一年都用不完那到时候剩余IP才会被清零,对于调试代码来说时间
    的头像 发表于 09-01 14:50 894次阅读

    python代码中如何使用HTTP代理

    HTTP代理就是介于浏览器和web服务器之间的一台服务器,连接代理后,浏览器不再直接向web服务器取回网页,而是向代理服务器发出request信号,
    的头像 发表于 09-13 09:24 1298次阅读

    何在python代码中使HTTP代理IP

    如何再python代码中使HTTP代理IP
    的头像 发表于 09-13 09:25 1000次阅读

    何在Python中使用MQTT

    本文主要介绍如何在 Python 项目中使用 paho-mqtt 客户端库 ,实现客户端与 MQTT 服务器的连接、订阅、取消订阅、收发消息等功能。
    的头像 发表于 12-22 10:41 9776次阅读
    如<b class='flag-5'>何在</b><b class='flag-5'>Python</b><b class='flag-5'>中使</b>用MQTT