0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

python获取历届春晚数据

张敏 来源:yiniuyun 作者:yiniuyun 2022-02-07 17:52 次阅读

不知道今年的春晚大家看了吗?小编表示没有看,而且是已经很多年没有完整的看过春晚了,关于看春晚的热情都是小时候的事了。如今,距离第一届春晚 1983 年,整整过去了 39年,看过那么多春晚,哪一年、哪些节目、哪些人你还留有深刻印象呢?接下来,通过 Python 数据分析。

在网上找了很久发现没有关于春晚完整的数据,都是不连贯的,节目单表是每一年春晚上表演的节目,包括:节目类型、节目名、演员名这几项数据。这里我们就使用Python 抓取这类表格数据,方法简单,几行代码就能搞定,简单的示例代码如下:

#! -*- encoding:utf-8 -*- import requests import random # 要访问的目标页面 targetUrl = "http://httpbin.org/ip" # 要访问的目标HTTPS页面 # targetUrl = "https://httpbin.org/ip" # 代理服务器(产品官网 www.16yun.cn) proxyHost = "t.16yun.cn" proxyPort = "31111" # 代理验证信息 proxyUser = "username" proxyPass = "password" proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % { "host" : proxyHost, "port" : proxyPort, "user" : proxyUser, "pass" : proxyPass, } # 设置 http和https访问都是用HTTP代理 proxies = { "http" : proxyMeta, "https" : proxyMeta, } # 设置IP切换头 tunnel = random.randint(1,10000) headers = {"Proxy-Tunnel": str(tunnel)} resp = requests.get(targetUrl, proxies=proxies, headers=headers) print resp.status_code print resp.text

抓取下来的数据都比较混乱,需要用 Python 清洗处理一下就可以分析,这些不是重点,重点是在获取数据的过程中,目标网站有封反爬策略比如封ip,所以在访问过程中我加了代理,代码部分主要是关于如何使用动态转发模式代理示例,在学习爬虫中对代理有疑问的可以看下这里https://www.16yun.cn/。在获取数据之后就可以直接进入分析环节,从中我们可以看到谁导演春晚次数最多?谁主持春晚次数最多?谁上春晚次数最多等数据。

若有收获,就点个赞吧

审核编辑:鄢孟繁

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    6898

    浏览量

    88840
  • python
    +关注

    关注

    56

    文章

    4782

    浏览量

    84465
收藏 人收藏

    评论

    相关推荐

    如何利用python和API查询IP地址?

    (但请注意,对于生产环境或高频查询,最好使用带密钥的服务以获取更好的性能和安全性)。首先,确保安装了requests库:pip install requests然后,您可以使用以下Python代码来
    发表于 08-28 11:55

    pytorch和python的关系是什么

    在当今的人工智能领域,Python已经成为了最受欢迎的编程语言之一。Python的易学易用、丰富的库和框架以及强大的社区支持,使其成为了数据科学、机器学习和深度学习等领域的首选语言。而在深度学习领域
    的头像 发表于 08-01 15:27 1720次阅读

    Python在AI中的应用实例

    Python在人工智能(AI)领域的应用极为广泛且深入,从基础的数据处理、模型训练到高级的应用部署,Python都扮演着至关重要的角色。以下将详细探讨Python在AI中的几个关键应用
    的头像 发表于 07-19 17:16 931次阅读

    网络爬虫,Python数据分析

    电子发烧友网站提供《网络爬虫,Python数据分析.pdf》资料免费下载
    发表于 07-13 09:27 1次下载

    Python怎么读取STM32串口数据

    =ser.readlines()print(s) 可是什么都读取不了。如果用买的STM32开发板送的串口助手,能接收到数据。板子上烧录的printf输出程序。 请问各位大神,Python程序要怎么写才能读取串口数据呢?跪求大神解
    发表于 04-24 07:30

    Python:从串口读取数据并以16进制格式展示

    本文凌顺实验室(lingshunlab.com)简单实现Python读取串口数据,并且按16进制格式显示出来。
    的头像 发表于 03-05 14:25 1024次阅读
    <b class='flag-5'>Python</b>:从串口读取<b class='flag-5'>数据</b>并以16进制格式展示

    如何从PLC-Recorder获取数据

    如果你需要实时分析,则可以通过PLC-Recorder的在线转发功能来实时获取刚采集到的数据
    的头像 发表于 02-22 10:31 1773次阅读
    如何从PLC-Recorder<b class='flag-5'>获取</b><b class='flag-5'>数据</b>?

    今年春节,德施曼成“春晚御用”智能锁,亮相总台春晚直播间

    总台春晚,是每年春节期间的最大热点。今年除夕夜,高端智能锁品牌德施曼,不仅成为“春晚御用”智能锁,还将旗下的哨兵猫眼智能锁,卖到了总台春晚的直播间里。龙年春节,德施曼智能锁携手小红书《大家的
    的头像 发表于 02-09 10:39 353次阅读
    今年春节,德施曼成“<b class='flag-5'>春晚</b>御用”智能锁,亮相总台<b class='flag-5'>春晚</b>直播间

    如何使用Python PySNMP模块获取设备指标呢?

    PySNMP 是一个跨平台的纯Python SNMP 引擎实现。
    的头像 发表于 01-12 13:59 2703次阅读

    获取qlineedit里面的输入值

    ,我们可以通过访问文本框的text()方法来实现。下面将以Python语言为例,详细介绍如何获取QLineEdit中的输入值。 首先,我们需要创建一个QLineEdit对象。可以使用如下
    的头像 发表于 11-30 16:13 2313次阅读

    python运行环境的安装和配置

    Python是一种非常流行的编程语言,广泛应用于科学计算、Web开发、人工智能等领域。为了能够正常运行Python程序,我们需要先安装和配置Python运行环境。本文将为您详尽介绍Python
    的头像 发表于 11-29 16:17 1104次阅读

    python运行指定几行

    Python是一种高级编程语言,可以用于开发各种类型的应用程序,包括网站、桌面应用程序、数据分析和人工智能等。在Python中运行指定的几行代码十分简单,它不仅能够帮助程序员快速开发软件,也适用于
    的头像 发表于 11-29 15:04 931次阅读

    python软件对电脑配置要求

    Python是一种流行的编程语言,它在许多不同的领域中被广泛使用,例如网站开发、数据科学和机器学习等。对于使用Python的开发者来说,了解Python软件的电脑配置要求是非常重要的。
    的头像 发表于 11-29 14:58 9796次阅读

    查看python安装路径的方法

    Python是一种高级编程语言,常用于开发Web应用、数据分析、人工智能等领域。在使用Python进行开发之前,我们需要先安装Python解释器,并了解
    的头像 发表于 11-29 14:54 1.1w次阅读

    python软件怎么运行代码

    Python是一种高级编程语言,它被广泛用于开发各种类型的应用程序,从简单的脚本到复杂的网络应用和机器学习模型。要运行Python代码,您需要一个Python解释器,它可以将您的代码翻译成计算机可以
    的头像 发表于 11-28 16:02 862次阅读