0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Python异步IO的核心知识,你掌握了吗?

马哥Linux运维 来源:lq 2018-12-04 17:09 次阅读

Python 的 asyncio 类似于 C++ 的 Boost.Asio。

异步 IO,就是你发起一个 IO 操作,不用等它结束,可以继续做其他事情,当它结束时,你会得到通知。

Asyncio 是并发(concurrency)的一种方式。对 Python 来说,并发还可以通过线程(threading)和多进程(multiprocessing)来实现。

Asyncio 并不能带来真正的并行(parallelism)。当然,因为 GIL(全局解释器锁)的存在,Python 的多线程也不能带来真正的并行。

可交给 asyncio 执行的任务,称为协程(coroutine)。一个协程可以放弃执行,把机会让给其它协程(即 yield from 或 await)。

定义协程

协程的定义,需要使用 async def 语句。

do_some_work 便是一个协程。

准确来说,do_some_work 是一个协程函数,可以通过 asyncio.iscoroutinefunction 来验证:

这个协程什么都没做,我们让它睡眠几秒,以模拟实际的工作量 :

在解释 await 之前,有必要说明一下协程可以做哪些事。协程可以:

asyncio.sleep 也是一个协程,所以 await asyncio.sleep(x) 就是等待另一个协程。可参见 asyncio.sleep 的文档:

运行协程

调用协程函数,协程并不会开始运行,只是返回一个协程对象,可以通过 asyncio.iscoroutine 来验证:

此处还会引发一条警告:

要让这个协程对象运行的话,有两种方式:

简单来说,只有 loop 运行了,协程才可能运行。

下面先拿到当前线程缺省的 loop ,然后把协程对象交给 loop.run_until_complete,协程对象随后会在 loop 里得到运行。

run_until_complete 是一个阻塞(blocking)调用,直到协程运行结束,它才返回。这一点从函数名不难看出。

run_until_complete 的参数是一个 future,但是我们这里传给它的却是协程对象,之所以能这样,是因为它在内部做了检查,通过 ensure_future 函数把协程对象包装(wrap)成了 future。所以,我们可以写得更明显一些:

完整代码:

运行结果:

回调

假如协程是一个 IO 的读操作,等它读完数据后,我们希望得到通知,以便下一步数据的处理。这一需求可以通过往 future 添加回调来实现。

多个协程

实际项目中,往往有多个协程,同时在一个 loop 里运行。为了把多个协程交给 loop,需要借助 asyncio.gather 函数。

或者先把协程存在列表里:

运行结果:

这两个协程是并发运行的,所以等待的时间不是 1 + 3 = 4 秒,而是以耗时较长的那个协程为准。

参考函数 gather 的文档:

发现也可以传 futures 给它:

gather 起聚合的作用,把多个 futures 包装成单个 future,因为 loop.run_until_complete 只接受单个 future。

run_until_complete 和 run_forever

我们一直通过 run_until_complete 来运行 loop ,等到 future 完成,run_until_complete 也就返回了。

输出:

现在改用 run_forever:

输出:

三秒钟过后,future 结束,但是程序并不会退出。run_forever 会一直运行,直到 stop 被调用,但是你不能像下面这样调 stop:

run_forever 不返回,stop 永远也不会被调用。所以,只能在协程中调 stop:

这样并非没有问题,假如有多个协程在 loop 里运行:

第二个协程没结束,loop 就停止了——被先结束的那个协程给停掉的。

要解决这个问题,可以用 gather 把多个协程合并成一个 future,并添加回调,然后在回调里再去停止 loop。

其实这基本上就是 run_until_complete 的实现了,run_until_complete 在内部也是调用 run_forever。

Close Loop?

以上示例都没有调用 loop.close,好像也没有什么问题。所以到底要不要调 loop.close 呢?

简单来说,loop 只要不关闭,就还可以再运行。:

但是如果关闭了,就不能再运行了:

建议调用 loop.close,以彻底清理 loop 对象防止误用。

gather vs. wait

asyncio.gather 和 asyncio.wait 功能相似。

具体差别可请参见 StackOverflow 的讨论:Asyncio.gather vs asyncio.wait。

Timer

C++ Boost.Asio 提供了 IO 对象 timer,但是 Python 并没有原生支持 timer,不过可以用 asyncio.sleep 模拟。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • python
    +关注

    关注

    53

    文章

    4752

    浏览量

    84044
  • 线程
    +关注

    关注

    0

    文章

    501

    浏览量

    19576

原文标题:Python 的异步 IO:Asyncio 简介

文章出处:【微信号:magedu-Linux,微信公众号:马哥Linux运维】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    Linux驱动学习笔记:异步IO

    前几篇介绍了几种IO模型,今天介绍另一种IO模型——异步IO
    发表于 06-12 16:24 589次阅读

    [8.1]--C++核心知识掌握了吗

    人工智能
    jf_90840116
    发布于 :2023年02月20日 22:11:34

    异步IO是什么

    python 异步ioAsync IO is a concurrent programming design that has received dedicated support
    发表于 09-06 07:26

    数据结构预算法核心知识点总结概述

    数据结构预算法核心知识点总结概述最近有看一些大佬的专栏,受益匪浅。深刻的觉察到我们要想成为一个伟大的程序员,或者说小一点,成为一个厉害的程序员,基础知识核心竞争力也是我们不断向上提升个人能力的基石
    发表于 12-21 08:00

    嵌入式开发中会用到哪些核心知识

    、什么是嵌入式、嵌入式系统的技术特征、三次信息化浪潮、嵌入式技术的主要发展方向和主流产品。2、什么人适合学习嵌入式本节主要讲述嵌入式开发中会用到哪些核心知识,需要哪些核心技能,嵌入式开发和Android应用、微信定制开发等纯应用层开发的不同之处,最后分析了哪些人适合学习嵌
    发表于 12-24 07:39

    IIC的核心知识点汇总,绝对实用

    IIC的核心知识点汇总,绝对实用
    发表于 01-24 06:14

    FPGA核心知识详解(1):FPGA入门必备

    电子发烧友网核心提示 :对初级FPGA工程师而言,必须掌握FPGA相关基础知识、精通硬件描述语言、熟练数字电路设计、加强工程项目的实践。应广大初级FPGA工程师/FPGA爱好者之需,电子
    发表于 11-09 13:55 7985次阅读

    纵观全球顶级新材料实验室,知识都抓住了吗

    纵观全球顶级新材料实验室,知识都抓住了吗
    的头像 发表于 04-22 17:36 2950次阅读
    纵观全球顶级新材料实验室,<b class='flag-5'>知识</b>点<b class='flag-5'>你</b>都抓住<b class='flag-5'>了吗</b>?

    曾经分不清的RAM知识 现在搞明白了吗

    曾经分不清的RAM知识现在搞明白了吗
    的头像 发表于 02-25 15:33 3033次阅读

    浅析同步与异步Python的区别与概述

    是否听到人们说过,异步Python代码比普通(或同步)Python代码更快?果真是那样吗?
    的头像 发表于 04-25 13:53 2121次阅读
    浅析同步与<b class='flag-5'>异步</b><b class='flag-5'>Python</b>的区别与概述

    信号驱动IO异步IO的区别

    一. 谈信号驱动IO (对比异步IO来看) 信号驱动IO 对比 异步 IO进行理解 信号驱动
    的头像 发表于 11-08 15:32 801次阅读
    信号驱动<b class='flag-5'>IO</b>与<b class='flag-5'>异步</b><b class='flag-5'>IO</b>的区别

    linux异步io框架iouring应用

    Linux内核5.1支持了新的异步IO框架iouring,由Block IO大神也即Fio作者Jens Axboe开发,意在提供一套公用的网络和磁盘异步
    的头像 发表于 11-08 15:39 485次阅读
    linux<b class='flag-5'>异步</b><b class='flag-5'>io</b>框架iouring应用

    异步IO框架iouring介绍

    前言 Linux内核5.1支持了新的异步IO框架iouring,由Block IO大神也即Fio作者Jens Axboe开发,意在提供一套公用的网络和磁盘异步
    的头像 发表于 11-09 09:30 1616次阅读
    <b class='flag-5'>异步</b><b class='flag-5'>IO</b>框架iouring介绍

    电源时序控制的正确方法,掌握了吗

    电源时序控制的正确方法,掌握了吗
    的头像 发表于 12-15 09:27 1083次阅读
    电源时序控制的正确方法,<b class='flag-5'>你</b><b class='flag-5'>掌握</b><b class='flag-5'>了吗</b>?

    浅谈初级电工必备知识

    对于初学电工的朋友来说,掌握一些基础且实用的知识点是非常重要的。本文旨在分享初级电工应该掌握核心知识,帮助新手电工更好地入门和提升技能。
    的头像 发表于 12-26 10:44 845次阅读