如何再python代码中使用HTTP代理IP。
以下代码主要围绕第一次接触HTTP代理IP的python新手来写。(步骤注释清晰)
直接把下面示例代码中的HTTP代理API,替换成你后台生成的代理API链接,就可以跑起来了。
以下是一个示例代码,只是一个基础的演示,具体的代码还是要根据你业务的实际情况去写的。
示例代码中的HTTP代理IP,我使用的是华益云的HTTP代理,注册就白嫖1万个高匿爬虫IP,有效期是一年,对于调试代码来说这个时间是非常的友好。(步骤注释清晰)
华益云-企业级HTTP爬虫代理IP供应商-点我免费领取示例代码demo中同款10000个高匿IP
打开代理API,获取里面的IP,使用IP访问目标网站,其实代码中就是执行这个过程而已,然后加了几个错误判断有助于代码的稳定运行。
# 此版本无需安装依赖 import urllib import urllib.request import urllib def main(): # 发送给服务器的标识 userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/532.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36" # 代理api(这里我推荐使用www.9vps.com华益云的HTTP代理API,注册就白嫖1万IP) proxyUrl = "http://http.9vps.com/getip.asp?username=166xxxx6597&pwd=xxxxbaa59ce237dff65134984b9cxxxx&geshi=1&fenge=1&fengefu=&Contenttype=1&getnum=20&setcity=&operate=all&"; # 请求代理url,获取代理ip outPutProxy = getProxy(proxyUrl, userAgent) if len(outPutProxy)==0: # 没有获取到代理 return # 目标请求网站 # https://httpbin.org/get url = "https://www.qq.com/" content = None for _ in range(0, 3): # 最多尝试三次 try: # 从列表中取出一个代理出来 proxy = outPutProxy.pop(0) px = { "http": proxy, "https": proxy } content = requestGet(url, userAgent, px) break except Exception as e: print(e) if (len(outPutProxy) == 0): # 如果发现没有代理了,就去获取下。 outPutProxy = getProxy(proxyUrl, userAgent) print(content) def getProxy(proxyUrl, userAgent): proxyIps="" outPutProxy = [] try: proxyIps = requestGet(proxyUrl, userAgent, None) print("(proxyIps)", proxyIps) # {"code":3002,"data":[],"msg":"error!用户名或密码错误","success":false} if "{" in proxyIps: raise Exception("[错误]"+proxyIps) outPutProxy = proxyIps.splitlines() except Exception as e: print(e) print("总共获取了"+str(len(outPutProxy))+"个代理") return outPutProxy def requestGet(url, userAgent, proxy): headers = { "User-Agent": userAgent } # httpproxy_handler = urllib.ProxyHandler({"http" : " 180.104.192.217:22036"}) response = None if (proxy): proxyHandler = urllib.request.ProxyHandler(proxy) opener = urllib.request.build_opener(proxyHandler, urllib.request.HTTPHandler) urllib.request.install_opener(opener) request = urllib.request.Request(url, headers=headers) response = urllib.request.urlopen(request, timeout=5) else: # 没有代理走这个 request = urllib.request.Request(url, headers=headers) response = urllib.request.urlopen(request, timeout=5) #response = opener.open(request) html = response.read() # # 设置编码,防止乱码 # 手动设置网页字符编码方式 return html.decode("utf-8", "ignore") main()
或者直接百度搜索:华益云HTTP代理
审核编辑 黄昊宇
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
IP
+关注
关注
5文章
1705浏览量
149530 -
python
+关注
关注
56文章
4795浏览量
84661
发布评论请先 登录
相关推荐
python代码中如何使用HTTP代理
华益云HTTP代理API有效期是一年,也就是说一年内这1万IP用完就没了,如果你一年都用不完那到时候剩余IP才会被清零,对于调试代码来说时间
python代码中如何使用HTTP代理
HTTP代理就是介于浏览器和web服务器之间的一台服务器,连接代理后,浏览器不再直接向web服务器取回网页,而是向代理服务器发出request信号,
评论