0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Python列表去重的4种方式

科技绿洲 来源:Python实用宝典 作者:Python实用宝典 2023-11-02 10:46 次阅读

列表去重是Python中一种常见的处理方式,任何编程场景都可能会遇到需要列表去重的情况。

列表去重的方式有很多,本文将一一讲解他们,并进行性能的对比。

让我们先制造一些简单的数据,生成0到99的100万个随机数:

from random import randrange
DUPLICATES = [randrange(100) for _ in range(1000000)]

接下来尝试这4种去重方式中最简单直观的方法:

1.新建一个数组,遍历原数组,如果值不在新数组里便加入到新数组中。

# 第一种方式
def easy_way():
    unique = []
    for element in DUPLICATES:
        if element not in unique:
            unique.append(element)
    return unique

进入ipython使用timeit计算其去重耗时:

%timeit easy_way()
# 1.16 s ± 137 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

图片

平均耗时在1.16秒左右,但是在这个例子中我们使用了数组作为存储对象,实际上如果我们改成集合存储去重后的结果,性能会快不少:

def easy_way():
    unique = set()
    for element in DUPLICATES:
        if element not in unique:
            unique.add(element)
    return unique
%timeit easy_way()
# 48.4 ms ± 11.6 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

平均耗时在48毫秒左右,改善明显,这是因为集合和数组的内在数据结构完全不同,集合使用了哈希表,因此速度会比列表快许多,但缺点在于无序。

接下来看看第2种方式:

2.直接对数组进行集合转化,然后再转回数组:

# 第二种去重方式
def fast_way()
    return list(set(DUPLICATES))

耗时:

%timeit fast_way()
# 14.2 ms ± 1.73 ms per loop (mean ± std. dev. of 7 runs, 100 loops each)

平均耗时14毫秒,这种去重方式是最快的,但正如前面所说,集合是无序的,将数组转为集合后再转为列表,就失去了原有列表的顺序。

如果现在有保留原数组顺序的需要,那么这个方式是不可取的,怎么办呢?

3.保留原有数组顺序的去重

使用dict.fromkeys()函数,可以保留原有数组的顺序并去重:

def save_order():
    return list(dict.fromkeys(DUPLICATES))

当然,它会比单纯用集合进行去重的方式耗时稍微久一点:

%timeit save_order()
# 39.5 ms ± 8.66 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

平均耗时在39.5毫秒,我认为这是可以接受的耗时,毕竟保留了原数组的顺序。

但是,dict.fromkeys()仅在Python3.6及以上才支持。

如果你是Python3.6以下的版本,那么可能要考虑第四种方式了。

4. Python3.6以下的列表保留顺序去重

在Python3.6以下,其实也存在fromkeys函数,只不过它由collections提供:

from collections import OrderedDict
def save_order_below_py36():
    return list(OrderedDict.fromkeys(DUPLICATES))

耗时:

%timeit save_order_below_py36()
# 71.8 ms ± 16.9 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

平均耗时在72毫秒左右,比 Python3.6 的内置dict.fromkeys()慢一些,因为OrderedDict是用纯Python实现的。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    6867

    浏览量

    88800
  • 存储
    +关注

    关注

    13

    文章

    4257

    浏览量

    85647
  • python
    +关注

    关注

    55

    文章

    4778

    浏览量

    84439
  • 数组
    +关注

    关注

    1

    文章

    414

    浏览量

    25905
收藏 人收藏

    评论

    相关推荐

    python连接列表方式

    , 2, 3, 4, 5, 6]5、使用列表推导式Python 里对于生成列表、集合、字典,有一套非常 Pythonnic 的写法。那就是列表
    发表于 04-07 17:04

    Python 编程常用的12基础知识汇总

    Python 编程中常用的12 基础知识总结:正则表达式替换,遍历目录方法,列表按列排序、,字典排序,字典、
    发表于 11-15 14:11 523次阅读
    <b class='flag-5'>Python</b> 编程常用的12<b class='flag-5'>种</b>基础知识汇总

    小猿圈python学习之Python列表list合并的4方法

    Python作为目前市面上最常用的编程语言之一,赢得了我们很多技术人员的喜爱,同时越来越多的人纷纷开始学习python,今天小猿圈就给大家分享在python3中合并列表
    发表于 05-16 21:37 1597次阅读

    使用Python实现对excel文档及求和的方法和代码说明

    近期有不少小伙伴在观看咱们扣丁学堂的Python 视频直播课程,在课程结束后有不少的小伙伴询问老师一些问题, 今天小编给大家整理一下学员的问题: Python 对excel 文档
    发表于 10-10 17:36 14次下载
    使用<b class='flag-5'>Python</b>实现对excel文档<b class='flag-5'>去</b><b class='flag-5'>重</b>及求和的方法和代码说明

    如何运用Python列表的元素比较解决问题

    在用python处理多个列表元素时,需要处理的信息一般比较多且杂。这时运用Python列表元素比较的方法,就能快速处理列表信息,能更轻松访问
    的头像 发表于 02-17 15:04 709次阅读
    如何运用<b class='flag-5'>Python</b><b class='flag-5'>列表</b>的元素比较解决问题

    python列表序列操作教程

    python列表也是序列对象,可以进行序列通用的操作,类似字符串序列的操作。
    的头像 发表于 02-23 15:04 616次阅读

    介绍python列表的边界和嵌套

    本文介绍python列表的边界和嵌套。只能访问python列表范围内的项,python列表可以嵌
    的头像 发表于 02-27 14:49 915次阅读

    python列表特定方法有哪些

    python列表类似其他语言的数组,但是python列表的元素(项)可以同时为不同类型的对象,即没有固定类型约束。
    的头像 发表于 02-27 14:51 472次阅读

    Python列表的基本概念、常用操作及实际应用

    Python列表是一强大的数据结构,用于在程序中存储和操作一系列的值。列表是可变的(mutable),可以动态地增加、删除和修改其中的元素。在Py
    的头像 发表于 04-16 10:42 1678次阅读

    Python字典组成的数组怎么进行

    你知道吗?如果数组是字典组成的,直接对数组内的字典采用set的方式进行,会报错: test = [{ "a" : 1}, { "a" : 1}, { "a" : 3}, { "b" : 4
    的头像 发表于 10-17 11:26 445次阅读

    Python调用JS的 4 方式

    Python 实现 本文将聊聊利用 Python 调用 JS 的4方式 2. 准备 以一段简单的 JS 脚本为例,将代码写入到文件中
    的头像 发表于 10-30 09:41 671次阅读

    Python 字典组成的数组怎么进行

    你知道吗?如果数组是字典组成的,直接对数组内的字典采用set的方式进行,会报错: test = [{ "a" : 1}, { "a" : 1}, { "a" : 3}, { "b" : 4
    的头像 发表于 11-01 10:55 444次阅读

    python列表和数组的区别

    内部实现、性能、操作方式等多个方面进行详细分析,以帮助读者更好地理解它们之间的区别和适用场景。 一、内部实现: 列表(List): Python中的列表是一
    的头像 发表于 11-21 15:13 2248次阅读

    python怎样让列表里的数相加

    Python是一功能强大的编程语言,可以用于处理各种各样的数学运算和数据操作。在Python中,我们可以使用简单的代码将列表中的数字相加。 首先,我们需要创建一个包含数字的
    的头像 发表于 11-22 09:53 1825次阅读

    python如何遍历列表并提取

    是一有序的可变集合,可以容纳任意类型的元素。在Python中,列表用方括号[ ]表示,其中的元素可以通过索引进行访问。索引是从0开始,表示列表中元素的位置。 在遍历
    的头像 发表于 11-23 15:55 1278次阅读