0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于Python的简便易用的数据接口

数据分析与开发 来源:数据分析与开发 2023-03-10 09:45 次阅读
想必大家平时可能会做一些数据分析,那么数据分析肯定就少不了数据。

数据从哪里来呢?我们可以通过网络爬虫来爬取数据,但是这个还是需要耗费一定时间的。

这时候就会有朋友说了,有没有现成的数据呢?当然有了,今天就给大家分享一个基于 Python 的、简便易用的数据接口,可能包含我们想要的各种各样的数据。

简介

这个库的名字叫 GoPUP,GitHub 主页是:https://github.com/justinzm/gopup

这其实是一个基于公开 API 的数据接口库,这个库封装了各种各样的方法,比如通过 wx_hot_list 这个方法我们就可以获取实时的微信热门文章榜单。

基本使用

下面我们来简单介绍下它的使用方法,首先是安装,使用 pip3 即可:

pip3installgopup

因为这个库会不断升级,如果要升级的话大家可以运行如下命令:

pip3install-Ugopup

安装完毕之后就可以开始使用了,其实使用起来还是非常简单的。

比如这里我们以「微博指数」为例来说明下用法,官方文档见 http://doc.gopup.cn/#/data/index_data?id=微博指数数据

  • 接口: weibo_index

  • 目标地址: https://data.weibo.com/index/newindex

  • 描述: 获取指定 词语 的微博指数

  • 输入参数

名称 类型 必须 描述
word str Y 关键词
time_type str Y time_type="1hour"; 1hour, 1day, 1month, 3month 选其一.
  • 输出参数
名称 类型 默认显示 描述
date datetime Y 日期-索引
index float Y 指数

大家可以看到,这个接口的目标地址实际上就是一个公开 API,然后我们只需要输入对应的词语和时间段,就可以输出对应的指数结果。

接口用法如下:

importgopupasgp
df_index=gp.weibo_index(word="疫情",time_type="3month")
print(df_index)

这里我们先导入了 gopup 库,然后调用了它的 weibo_index 方法,传入关键词和时间段,这里我们查询的是最近三个月的疫情对应的微博指数,也就对应这个词在微博的热度。

运行结果如下:

疫情
index
2022-07-041518338
2022-07-051950590
2022-07-061924655
2022-07-071825620
2022-07-081768546
......
2022-09-302083183
2022-10-011365015
2022-10-021498437
2022-10-031323310
2022-10-041244449

[93rowsx1columns]

可以看到输出的实际上是 Pandas 的 DataFrame 数据结构,如果我们用 Jupyter 运行的话可能更直观一些。

安装并运行 Jupyter

pip3installjupyter
jupyternotebook

运行类似的代码,结果如下:

a40313fc-be5e-11ed-bfe3-dac502259ad0.png

我们还可以进一步将其转化为可视化图表:

importmatplotlib.pyplotasplt

plt.figure(figsize=(15,5))
plt.title("微博「疫情」热度走势图")
plt.xlabel("时间")
plt.ylabel("指数")
plt.plot(df_index.index,df_index['疫情'],'-',label="指数")
plt.legend()
plt.grid()
plt.show()

结果如下:

a47dbb16-be5e-11ed-bfe3-dac502259ad0.png

这样通过简单的几行代码我们就可以轻松将某个词的热度走势可视化出来了,绘制成折线图之后,热度走势一目了然。

更多数据

当然上面仅仅是冰山一角,GoPUP 集成了各种公开 API,就像个爬虫一样给各种 API 提供了封装,数据可谓是应有尽有。

根据 GoPUP 的简介,这里面的数据包括这些类别:

  • 指数数据:微博指数数据,百度指数数据,百度搜索数据,百度资讯指数,百度媒体指数,百度需求图谱,百度人群画像年龄分布,百度人群画像性别分布,百度人群画像兴趣分布;

  • 算数数据:算数指数数据,算数相关性分析,算数地域分析,算数城市分析,算数年龄分析,算数性别分析,算数用户阅读兴趣分类,谷歌指数数据,谷歌指数数据,谷歌事实查证;

  • 宏观数据:中国宏观数据,中国宏观杠杆率数据,货币汇率数据;

  • 利率数据:Shibor数据,Shibor报价数据,Shibor均值数据,LPR数据;

  • 公司数据:千里马公司,独角兽公司,倒闭公司,商业特许经营公司;

  • 信息数据:新闻联播文字稿;

  • 生活数据:中国油价数据,汽柴油历史调价信息,调价日的地区油价历史数据;

  • 诗词数据:唐代诗人,唐诗数据;

  • 影视数据:实时电影票房数据,单日电影票房数据,单日影院票房数据,实时电视剧播映指数,实时综艺播映指数,艺人商业价值,艺人流量价值;

  • 全国高校数据:全国普通高等学校名单,全国成人高等学校名单,全国高等学校详情数据;

  • 疫情数据:网易疫情数据,丁香园疫情数据……

当然这个库也在不断更新,更多详细的内容大家可以到官方文档了解下:http://doc.gopup.cn/#/README

有了这些数据,我们做数据分析和可视化就不用再去写爬虫啦,直接拿来用就好了,简直不要太方便!

好了,关于 GoPUP 就介绍这么多了,大家可以来试试看吧


审核编辑 :李倩


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • API
    API
    +关注

    关注

    2

    文章

    1471

    浏览量

    61740
  • 数据分析
    +关注

    关注

    2

    文章

    1410

    浏览量

    33982
  • 爬虫
    +关注

    关注

    0

    文章

    82

    浏览量

    6810

原文标题:有了这个库,这些爬虫都不用亲自写了!

文章出处:【微信号:DBDevs,微信公众号:数据分析与开发】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    Python存储数据详解

    用的存储方式,Python标准数据接口Python DB-API,Python DB-API为开发人员提供了
    发表于 03-29 15:47

    专业python web编程工具

    还自带服务器。其它方面,Python拥有足够多的免费数据函数库、免费的Web网页模板系统、还有与Web服务器进行交互的库、这些都可以设计到你的Web应用程序里面。在这篇文章里,我们将为Python
    发表于 06-12 16:23

    三种提高Python代码性能的简便方法

      在互联网编程语言盛行的今天,Python是比较流行的编程语言之一。但很多程序员对于Python代码性能的方法并不了解。今天这里主要为大家介绍三种提高Python代码性能的简便方法,
    发表于 08-03 18:37

    python数据类型有哪些?

    python数据类型有哪些?Python定义函数一般格式是什么?
    发表于 12-27 06:26

    TekVPITM新型探头接口提供了杰出的通用性和简便易用

    TekVPITM新型探头接口提供了杰出的通用性和简便易用性 在过去50年中,各种示波器探头接口设计一直在不断演进,以满足提高的仪器带宽速度和测量性能要求
    发表于 03-22 11:27 26次下载

    SPB TV:面向iPhone最简便易用的移动电视应用

    SPB TV:面向iPhone最简便易用的移动电视应用 领先的移动应用和游戏开发商 SPB Software 宣布推出 SPB TV for iPhone,该产品正在成为 SPB Softwa
    发表于 04-07 08:19 843次阅读

    Python的几个自然语言处理工具介绍

     NLTK是使用Python处理语言数据的领先平台。它为像WordNet这样的词汇资源提供了简便易用的界面。它还具有为文本分类(classification)、文本标记(tokeniz
    发表于 12-29 14:21 5258次阅读

    python串口接收数据

    本文主要介绍了python串口接收数据。其中涉及了Python使用线程来接收串口数据,以及python3 Serial 串口助手的接收读取
    发表于 01-15 09:52 4.6w次阅读
    <b class='flag-5'>python</b>串口接收<b class='flag-5'>数据</b>

    python接口文件使用说明

    首先,python接口文件在安装好的darknet目录下的python文件夹,打开就可以看到
    发表于 05-18 11:30 2043次阅读
    <b class='flag-5'>python</b><b class='flag-5'>接口</b>文件使用说明

    Python编程用于数据科学和机器学习

    Python是一种通用的,高级的,面向对象的,易于学习的编程语言。它由Guido van Rossum创建,他被称为Python的教父。Python是一种流行的编程语言,因为它简单易用
    发表于 07-05 14:44 760次阅读

    Danfo.js提供高性能、直观易用数据结构,支持结构化数据的操作和处理

    Danfo.js 是个 JavaScript 开源库,提供了高性能、直观易用数据结构,支持结构化数据的操作和处理。Danfo.js 深受 Python Pandas 库的启发,并提供
    的头像 发表于 09-23 18:21 5218次阅读

    python数据挖掘与机器学习

    python数据挖掘与机器学习 Python是一个非常流行的编程语言,被广泛用于数据挖掘和机器学习领域。在本篇文章中,我们将探讨Python
    的头像 发表于 08-17 16:29 1270次阅读

    python有什么用 如何用python创建数据

    python有什么用 如何用python创建数据Python是一种高级编程语言,可以用于开发各种类型的应用程序和工具。它的广泛应用使它在编程领域中极为受欢迎。
    的头像 发表于 08-28 16:41 1125次阅读

    python读取数据数据 python查询数据python数据库连接

    python读取数据数据 python查询数据python
    的头像 发表于 08-28 17:09 1723次阅读

    pytorch和python的关系是什么

    在当今的人工智能领域,Python已经成为了最受欢迎的编程语言之一。Python的易学易用、丰富的库和框架以及强大的社区支持,使其成为了数据科学、机器学习和深度学习等领域的首选语言。而
    的头像 发表于 08-01 15:27 1469次阅读