0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

一些提升或加速日常数据分析工作的技巧

数据分析与开发 来源:机器之心 2020-08-27 15:08 次阅读

本文列举了一些提升或加速日常数据分析工作的技巧,包括:

1. Pandas Profiling 2. 使用 Cufflinks 和 Plotly 绘制 Pandas 数据 3. IPython 魔术命令 4. Jupyter 中的格式编排 5. Jupyter 快捷键 6. 在 Jupyter(或 IPython)中使一个单元同时有多个输出 7. 为 Jupyter Notebook 即时创建幻灯片

1. Pandas Profiling

该工具效果明显。下图展示了调用 df.profile_report() 这一简单方法的结果:

使用该工具只需安装和导入 Pandas Profiling 包。

本文不再详述这一工具,如欲了解更多,请阅读:https://towardsdatascience.com/exploring-your-data-with-just-1-line-of-python-4b35ce21a82d

2. 使用 Cufflinks 和 Plotly 绘制 Pandas 数据

「经验丰富的」数据科学家或数据分析师大多对 matplotlib 和 pandas 很熟悉。也就是说,你只需调用 .plot() 方法,即可快速绘制简单的 pd.DataFrame 或 pd.Series:

有点无聊?

这已经很好了,不过是否可以绘制一个交互式、可缩放、可扩展的全景图呢?是时候让 Cufflinks* *出马了!(Cufflinks 基于 Plotly 做了进一步的包装。)

在环境中安装 Cufflinks,只需在终端中运行! pip install cufflinks --upgrade 即可。查看下图:

效果好多了!

注意,上图唯一改变的是 Cufflinks cf.go_offline() 的导入和设置,它将 .plot() 方法变为 .iplot()。

其他方法如 .scatter_matrix() 也可以提供非常棒的可视化结果:

需要做大量数据可视化工作的朋友,可以阅读 Cufflinks 和 Plotly 的文档,发现更多方法。

Cufflinks 文档:https://plot.ly/ipython-notebooks/cufflinks/

Plotly 文档:https://plot.ly/

3. IPython 魔术命令

IPython 的「魔术」是 IPython 基于 Python 标准语法的一系列提升。魔术命令包括两种方法:行魔术命令(line magics):以 % 为前缀,在单个输入行上运行;单元格魔术命令(cell magics):以 %% 为前缀,在多个输入行上运行。下面列举了 IPython 魔术命令提供的一些有用功能:

%lsmagic:找出全部命令

如果你只记得一个魔术命令,那必须得是这一个。执行 %lsmagic 命令将提供所有可用魔术命令的列表:

%debug:交互式 debug

这可能是我最常使用的魔术命令了。

大部分数据科学家都遇到过这种情况:执行的代码块一直 break,你绝望地写了 20 个 print() 语句,想输出每个变量的内容。然后,当你最终修复问题后,你还得返回并再次删除所有 print() 语句。

不过以后再也不用这样了。遇到问题后只需执行 %debug 命令,即可执行想要运行的任意代码部分:

上图中发生了什么?

我们有一个函数,它以列表为输入,并对所有的偶数取平方值。

我们运行函数,但是出了些问题。但是我们并不知道怎么回事!

对该函数使用%debug 命令。

让调试器告诉我们 x 和 type(x) 的值。

问题显而易见:我们把 6 作为字符串输入到函数中了!

这对于更复杂的函数非常有用。

%store:在 notebook 之间传递变量

这个命令也很酷。假设你花了一些时间清洗 notebook 中的数据,现在你想在另一个 notebook 中测试一些功能,那么你是在同一个 notebook 中实现该功能,还是保存数据并在另一个 notebook 中加载数据呢?使用%store 命令后,这些操作都不需要!该命令将存储变量,你可以在其他任意 notebook 中检索该变量:

%store [variable] 存储变量。

%store -r [variable] 读取/检索存储变量。

%who:列出所有全局变量。

你是否遇到过,为变量赋值后却忘记变量名的情况?或者不小心删掉了负责为变量赋值的单元格?使用%who 命令,你可以得到所有全局变量的列表:

%%time:计时魔法命令

使用该命令可以获取所有计时信息。只需对任意可执行代码应用%%time 命令,你就可以得到如下输出:

%%writefile:向文件写入单元格内容

在 notebook 中写复杂函数或类,且想将其保存到专属文件中时,该魔法命令非常有用。只需为函数或类的单元格添加 %%writefile 前缀和想要保存到的文件名即可:

如上所示,我们可以将创建的函数保存到 utils.py 文件中,然后就可以随意导入了。在其他 notebook 中也可以这样,只要与 utils.py 文件属于同一个目录即可。

4. Jupyter 中的格式编排

这个工具很酷!Jupyter 考虑到 markdown 中存在 HTML / CSS 格式。以下是我最经常使用的功能:

蓝色、时尚:

Thisisfancy!
红色、轻微慌张:

This is baaaaad!
绿色、平静:

This is gooood!
下图展示了它们的运行过程:

当你想以 Notebook 格式呈现一些发现时,这非常有用!

5. Jupyter 快捷键

想了解和学习键盘快捷键,你可以使用命令面板:Ctrl + Shift + P,获取 notebook 所有功能的列表。下面选取了几个最基础的命令:

Esc:进入命令模式。在命令模式内,你可以使用方向键在 notebook 内进行导航。

在命令模式内:

A 和 B:在当前单元格上方(Above)或下方(Below)插入新的单元格。

M:当前单元格转入 Markdown 状态。

Y:当前单元格转入 code 状态。

D,D:删除当前单元格。

Enter:当前单元格回到编辑模式。

在编辑模式内:

Shift + Tab:为你在当前单元格中键入的对象提供文档字符串(文档),持续使用该快捷键,可循环使用文档模式。

Ctrl + Shift + -:在光标所在处分割当前单元格。

Esc + F:查找并替换代码(不包括输出)。

Esc + O:切换单元格输出。

选择多个单元格:

Shift + Down 和 Shift + Up:选中下方或上方的单元格。

Shift + M:合并选中单元格。

注意,选中多个单元格后,你可以批量执行删除/复制/剪切/粘贴/运行操作。

6. 在 Jupyter(或 IPython)中使一个单元同时有多个输出

想展示 pandas DataFrame 的 .head() 和 .tail(),但由于创建运行 .tail() 方法的额外代码单元过于麻烦而不得不中途放弃,你是否有过这样的经历?现在不用怕了,你可以使用以下代码行展示你想展示的输出:

from IPython.core.interactiveshell import InteractiveShellInteractiveShell.ast_node_interactivity = "all" 下图展现了多个输出的结果:

7. 为 Jupyter Notebook 即时创建幻灯片

使用 RISE,你可以仅通过一次按键将 Jupyter Notebook 即时转变为幻灯片。而且 notebook 仍然处于活跃状态,你可以在展示幻灯片的同时执行实时编码! 要想使用该工具,你只需通过 conda 或 pip 安装 RISE 即可。

conda install -c conda-forge rise 或者

pip install RISE

现在,你可以点击新按钮,为 notebook 创建不错的幻灯片了:

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 可视化
    +关注

    关注

    1

    文章

    1166

    浏览量

    20852
  • 数据分析
    +关注

    关注

    2

    文章

    1410

    浏览量

    33982
  • python
    +关注

    关注

    55

    文章

    4766

    浏览量

    84370

原文标题:掌握这 7 个 Python 技巧,数据分析不怕!

文章出处:【微信号:DBDevs,微信公众号:数据分析与开发】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    智能制造中的数据分析应用

    随着工业4.0的推进,智能制造已经成为制造业转型升级的关键。数据分析作为智能制造的核心驱动力,正逐步改变传统的生产方式,为企业带来更高的效率和更大的竞争力。 数据分析在智能制造中的重要性 提高
    的头像 发表于 11-07 09:56 104次阅读

    数据分析在数字化中的作用

    在当今这个信息爆炸的时代,数据无处不在。从个人的日常活动到企业的商业决策,数据都在发挥着越来越重要的作用。数字化转型,作为企业适应这变化的关键策略,正逐渐成为各行各业的共识。 1.
    的头像 发表于 10-27 17:35 413次阅读

    云计算在大数据分析中的应用

    云计算在大数据分析中的应用广泛且深入,它为用户提供了存储、计算、分析和预测的强大能力。以下是对云计算在大数据分析中应用的介绍: 、存储和处理海量
    的头像 发表于 10-24 09:18 246次阅读

    使用AI大模型进行数据分析的技巧

    使用AI大模型进行数据分析的技巧涉及多个方面,以下是一些关键的步骤和注意事项: 、明确任务目标和需求 在使用AI大模型之前,首先要明确数据分析的任务目标,这将直接影响模型的选择、
    的头像 发表于 10-23 15:14 360次阅读

    IP 地址大数据分析如何进行网络优化?

    、大数据分析在网络优化中的作用 1.流量分析数据分析可以对网络中的流量进行实时监测和分析,了解网络的使用情况和流量趋势。通过对流量
    的头像 发表于 10-09 15:32 140次阅读
    IP 地址大<b class='flag-5'>数据分析</b>如何进行网络优化?

    数据分析除了spss还有什么

    数据分析是当今世界中个非常重要的领域,它涉及到从大量数据中提取有用信息、发现模式和趋势,并为决策提供支持。SPSS(Statistical Package for the Social
    的头像 发表于 07-05 15:01 498次阅读

    数据分析的工具有哪些

    数据分析个涉及收集、处理、分析和解释数据以得出有意义见解的过程。在这个过程中,使用正确的工具至关重要。以下是一些主要的
    的头像 发表于 07-05 14:54 718次阅读

    数据分析有哪些分析方法

    数据分析种重要的技能,它可以帮助我们从大量的数据中提取有价值的信息,从而做出更明智的决策。在这篇文章中,我们将介绍数据分析的各种方法,包括描述性
    的头像 发表于 07-05 14:51 461次阅读

    机器学习在数据分析中的应用

    随着大数据时代的到来,数据量的爆炸性增长对数据分析提出了更高的要求。机器学习作为种强大的工具,通过训练模型从数据中学习规律,为企业和组织提
    的头像 发表于 07-02 11:22 511次阅读

    求助,关于AD采集到的数据分析问题

    问题描述:使用AD采集个10Hz到2MHz的脉冲,脉冲底部可能大于零,由采集到的数据分析出该脉冲的上升时间,幅值和占空比。 备注:在分析的时候已经知道脉冲的频率,精度为2X10^-5. 在
    发表于 05-09 07:40

    态势数据分析系统软件

    智慧华盛恒辉态势分析软件系统的功能描述、部署环境、界面使用、技术支持及一些常见问题及其解决办法等。为数据态势分析软件系统的管理人员和使用人员提供说明。 智慧华盛恒辉态势
    的头像 发表于 04-22 11:36 391次阅读

    Get职场新知识:做分析,用大数据分析工具

    为什么企业每天累积那么多的数据,也做数据分析,但最后决策还是靠经验?很大程度上是因为这些数据都被以不同的指标和存储方式放在各自的系统中,这就导致了数据
    发表于 12-05 09:36

    使用Minitab的跨行业模块提升您的数据分析

    如今,数据就是切。从预测未来结果到提高产品质量,数据分析对于任何想要保持竞争力的组织都是必不可少的。然而,大多数数据是收集的,从来没有分析
    的头像 发表于 11-27 11:44 422次阅读

    GPU 加速油气勘探,打造新代地震数据分析平台

    国内家从事油气勘探的领先企业承接了大量的国内外石油天然气勘探项目,每年的地震数据分析处理的任务量非常大,传统的 HPC 计算方法无法大幅提升数据处理效率。 在传统的地震
    的头像 发表于 11-20 21:00 502次阅读

    三轴六轴加速度传感器哪种灵敏度高一些

    DIY平衡控制系统,需要使用加速度传感器,三轴六轴的均可以,哪种灵敏度高一些
    发表于 11-10 06:46