0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

python获取历届春晚数据

张敏 来源:yiniuyun 作者:yiniuyun 2022-02-07 17:52 次阅读

不知道今年的春晚大家看了吗?小编表示没有看,而且是已经很多年没有完整的看过春晚了,关于看春晚的热情都是小时候的事了。如今,距离第一届春晚 1983 年,整整过去了 39年,看过那么多春晚,哪一年、哪些节目、哪些人你还留有深刻印象呢?接下来,通过 Python 数据分析。

在网上找了很久发现没有关于春晚完整的数据,都是不连贯的,节目单表是每一年春晚上表演的节目,包括:节目类型、节目名、演员名这几项数据。这里我们就使用Python 抓取这类表格数据,方法简单,几行代码就能搞定,简单的示例代码如下:

#! -*- encoding:utf-8 -*- import requests import random # 要访问的目标页面 targetUrl = "http://httpbin.org/ip" # 要访问的目标HTTPS页面 # targetUrl = "https://httpbin.org/ip" # 代理服务器(产品官网 www.16yun.cn) proxyHost = "t.16yun.cn" proxyPort = "31111" # 代理验证信息 proxyUser = "username" proxyPass = "password" proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % { "host" : proxyHost, "port" : proxyPort, "user" : proxyUser, "pass" : proxyPass, } # 设置 http和https访问都是用HTTP代理 proxies = { "http" : proxyMeta, "https" : proxyMeta, } # 设置IP切换头 tunnel = random.randint(1,10000) headers = {"Proxy-Tunnel": str(tunnel)} resp = requests.get(targetUrl, proxies=proxies, headers=headers) print resp.status_code print resp.text

抓取下来的数据都比较混乱,需要用 Python 清洗处理一下就可以分析,这些不是重点,重点是在获取数据的过程中,目标网站有封反爬策略比如封ip,所以在访问过程中我加了代理,代码部分主要是关于如何使用动态转发模式代理示例,在学习爬虫中对代理有疑问的可以看下这里https://www.16yun.cn/。在获取数据之后就可以直接进入分析环节,从中我们可以看到谁导演春晚次数最多?谁主持春晚次数最多?谁上春晚次数最多等数据。

若有收获,就点个赞吧

审核编辑:鄢孟繁

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    6795

    浏览量

    88730
  • python
    +关注

    关注

    55

    文章

    4766

    浏览量

    84363
收藏 人收藏

    评论

    相关推荐

    网络爬虫,Python数据分析

    电子发烧友网站提供《网络爬虫,Python数据分析.pdf》资料免费下载
    发表于 07-13 09:27 1次下载

    Python怎么读取STM32串口数据

    =ser.readlines()print(s) 可是什么都读取不了。如果用买的STM32开发板送的串口助手,能接收到数据。板子上烧录的printf输出程序。 请问各位大神,Python程序要怎么写才能读取串口数据呢?跪求大神解
    发表于 04-24 07:30

    如何从PLC-Recorder获取数据

    如果你需要实时分析,则可以通过PLC-Recorder的在线转发功能来实时获取刚采集到的数据
    的头像 发表于 02-22 10:31 1720次阅读
    如何从PLC-Recorder<b class='flag-5'>获取</b><b class='flag-5'>数据</b>?

    今年春节,德施曼成“春晚御用”智能锁,亮相总台春晚直播间

    总台春晚,是每年春节期间的最大热点。今年除夕夜,高端智能锁品牌德施曼,不仅成为“春晚御用”智能锁,还将旗下的哨兵猫眼智能锁,卖到了总台春晚的直播间里。龙年春节,德施曼智能锁携手小红书《大家的
    的头像 发表于 02-09 10:39 328次阅读
    今年春节,德施曼成“<b class='flag-5'>春晚</b>御用”智能锁,亮相总台<b class='flag-5'>春晚</b>直播间

    如何使用Python PySNMP模块获取设备指标呢?

    PySNMP 是一个跨平台的纯Python SNMP 引擎实现。
    的头像 发表于 01-12 13:59 2537次阅读

    获取qlineedit里面的输入值

    ,我们可以通过访问文本框的text()方法来实现。下面将以Python语言为例,详细介绍如何获取QLineEdit中的输入值。 首先,我们需要创建一个QLineEdit对象。可以使用如下
    的头像 发表于 11-30 16:13 2213次阅读

    python软件对电脑配置要求

    Python是一种流行的编程语言,它在许多不同的领域中被广泛使用,例如网站开发、数据科学和机器学习等。对于使用Python的开发者来说,了解Python软件的电脑配置要求是非常重要的。
    的头像 发表于 11-29 14:58 9616次阅读

    查看python安装路径的方法

    Python是一种高级编程语言,常用于开发Web应用、数据分析、人工智能等领域。在使用Python进行开发之前,我们需要先安装Python解释器,并了解
    的头像 发表于 11-29 14:54 1.1w次阅读

    Python2与Python3的差异

    Python2与Python3是两个不同的版本,它们在语法、功能和性能等方面存在一些差异。下面是对Python2和Python3的详尽、详实、细致的比较,分为以下几个方面: 语法差异:
    的头像 发表于 11-23 16:48 866次阅读

    python中text的用法

    Python中的text是一个常见的数据类型,它用于存储和处理文本数据。在Python中,文本常常被表示为字符串(string),字符串是一系列Unicode字符的有序序列。 在
    的头像 发表于 11-23 15:46 3228次阅读

    python控制windows窗口,并输入数据

    在当今数字化的时代,软件应用已经成为人们日常生活中不可或缺的一部分。许多应用程序需要与用户进行交互,而控制窗口和实现数据输入是用户体验中至关重要的一部分。Python作为一种多用途的编程语言,可以用
    的头像 发表于 11-22 14:11 2887次阅读

    python获取控制台输出内容

    Python中,获取控制台输出内容可以使用多种方法。无论是在开发过程中调试程序,还是在分析程序执行结果时,获取控制台输出内容都是非常有用的。 最常见的方法就是使用print函数来输出内容到控制台
    的头像 发表于 11-22 14:08 2141次阅读

    python中number代表什么

    Python中,number(数字)是一种内置的数据类型,用于表示数值。Python提供了几种不同的number类型,分别是整数(int)、浮点数(float)、复数(complex)和布尔值
    的头像 发表于 11-22 09:50 1819次阅读

    python去除list中重复的数据

    Python是一个强大的编程语言,提供了许多解决问题的方法和功能。其中一个常见的问题是如何去除列表中的重复数据。在本文中,我们将详细介绍Python中去除列表中重复数据的几种方法,包括
    的头像 发表于 11-21 15:49 1477次阅读

    如何看待Python爬虫的合法性?

    Python爬虫是一种自动化程序,可以从互联网上获取信息并提取数据。通过模拟网页浏览器的行为,爬虫可以访问网页、抓取数据、解析内容,并将其保存到本地或用于进一步分析
    的头像 发表于 11-14 10:35 552次阅读