0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Jupyter Notebook是TensorFlow文档架构的重要组成部分

Tensorflowers 来源:TensorFlow 作者:TensorFlow 2020-11-19 09:25 次阅读

Jupyter Notebook 是 TensorFlow 文档架构的重要组成部分。Jupyter Notebook 是 tensorflow.google.cn 上发布文档的首要格式,因此在 JupyterCon 2020 大会上,TensorFlow 文档团队想要分享一些用于管理大量 Jupyter Notebook 的工具。

Jupyter Notebook
https://jupyter-notebook.readthedocs.io/

随着 TensorFlow 生态系统的不断发展,TensorFlow 文档本身已发展成一个庞大的软件项目。我们在 tensorflow.google.cn 上发布了约 270 篇 Notebook 的指南和教程,这些内容全部经过了测试,并在 GitHub 上提供源码。同时我们还另外发布了约 400 篇翻译成多种语言的 Notebook,这些 Notebook 像其英文版本一样也都经过了测试。为了管理这些内容,我们开发了可配合 Jupyter Notebook 使用的工具。

GitHub
https://github.com/tensorflow/docs

Notebook
https://github.com/tensorflow/docs-l10n

两年前,我们在 2018 年 TensorFlow 开发者峰会上通过 TensorFlow官网(tensorflow.google.cn)发布了首个 Notebook,当时社区的反响非常好。在 Google Colab 中,您在浏览文档的同时,支持直接交互式地运行样例。实际上用户也非常喜欢这一点。此设置可让您直接在浏览器中运行并试验我们的指南和教程,而无需在机器上安装任何软件。我们在 TensorFlow 官网上集成 Colab 后,新手想要入门变得更加容易了,同时这也改变了我们指导 TensorFlow 入门的方式:借助 Jupyter Notebook 实现更直观易懂的教程。其他机器学习项目也将紧随其后。您只需使用下面的网址,便可将 Notebook 直接从 GitHub 加载到 Google Colab:

https://colab.research.google.com/github//blob///notebook.ipynb

对于计算密集型任务,Colab 也免费提供了 TPU 和 GPU。TensorFlow 文档(如:此快速入门教程)中有一些按钮,可以链接到文档在 GitHub 中的 Notebook 源代码和其对应的 Google Colab 中。

Colab
https://colab.research.google.com/github/tensorflow/docs/blob/master/site/en/tutorials/quickstart/beginner.ipynb

此快速入门教程
https://tensorflow.google.cn/tutorials/quickstart/advanced

GitHub
https://github.com/tensorflow/docs/blob/master/site/en/tutorials/quickstart/advanced.ipynb

更好地协作

软件文档是一项团队工作,而 Notebook 是一种富有表现力的专注于手把手教程式的格式,它可以让工程师和作者搭建出交互式演示,更直观的了解所学内容。Jupyter Notebook 是 JSON 格式的文件,包含文本单元和代码单元,通常按照从上到下的顺序执行。Notebook 是一种非常出众的交流编程理念的方式,而且在某些规程约束下,也可用于分享可重复的结果。

在 TensorFlow 团队中,Notebook 可让工程师、技术作者和开放源代码贡献者在同一文档中协作,而无需再费力处理单独的代码示例及其发布说明。我们选择编写 TensorFlow Notebook,这样一来文档即代码,且易于共享和测试。

使用 GitLocalize 翻译 Notebook

TensorFlow 团队十分重视文档在不同地区可读性。TensorFlow 社区翻译项目经过去两年的发展,已支持 10 种语言。Translation Sprints 活动是开源文档项目与社区展开互动的绝佳方式。

TensorFlow 社区翻译项目
https://github.com/tensorflow/docs-l10n

为让更多开发者能够访问 TensorFlow 文档,我们与 Alconost 合作,在其 GitLocalize 翻译工具中添加了对 Jupyter Notebook 的支持。GitLocalize 可轻松创建 Notebook 翻译版本,并可轻松与源文件同步文档更新。开放源代码贡献者可以通过 TensorFlow GitLocalize 项目(gitlocalize.com/tensorflow/docs-l10n) 提交 PR 并提供评论。

GitLocalize 对 Jupyter Notebook 的支持不仅能让 TensorFlow 受益,现在该工具也可用于所有在 GitHub 中使用 Notebook 的开源翻译项目。

TensorFlow 文档 Notebook 工具

将 Jupyter Notebook 并入我们的文档架构后,我们将可以运行并测试所有已发布的指南和教程,以确保站点上的一切内容均适用于新发布的 TensorFlow 版本,无论使用的是稳定版还是 Nightly 软件包。

指南
https://tensorflow.google.cn/guide

教程
https://tensorflow.google.cn/tutorials

除了上述优势,将 Jupyter Notebook 作为源代码进行管理也面临着一些挑战。为让代码贡献者和项目维护者更轻松地进行 PR 和 Review,我们创建了 TensorFlow 文档 Notebook 工具,以通过持续集成 (Continuous Integration) 测试自动执行常规修复并将对应的 issue 传达给贡献者。您可以直接从 tensorflow/docs GitHub 代码库安装 tensorflow-docs pip 软件包。

$ python3 -m pip install -U git+https://github.com/tensorflow/docs

TensorFlow 文档 Notebook 工具
https://github.com/tensorflow/docs/tree/master/tools/tensorflow_docs/tools

nbfmt

尽管 Jupyter Notebook 格式很简单,但 Notebook 创作环境通常存在与 JSON 格式不一致的情况,或者会将自己的元数据嵌入到文件中。这些不必要的更改可能会导致 PR 中的内容混乱,以致于很难进行内容 Review。解决办法是使用自动格式工具来输出一致的 Notebook JSON。

nbfmt 是一种 Notebook 格式工具,其首选的是 TensorFlow 文档 Notebook 样式。该工具可以设置 JSON 格式,去除不必要的元数据,并保留我们集成中所要使用的一些 Colab 特定字段。执行以下代码以运行该工具:

$ python3 -m tensorflow_docs.tools.nbfmt [options] notebook.ipynb

对于 TensorFlow 文档项目,没有输出单元的 Notebook 保存后将被执行并测试;有输出单元的 Notebook 保存后将按原样发布。我们更希望除去输出以测试我们的 Notebook,但这两种形式都可以使用 nbfmt。

TensorFlow 文档 Notebook 样式
https://tensorflow.google.cn/community/contribute/docs

进行持续集成测试时,我们可以使用 --test 标记。使用这个标记后,如果 Notebook 未设置好格式,系统会返回错误,而不是更新 Notebook。我们在我们其中一个 GitHub 操作工作流的持续集成测试中使用了该标记。通过后续集成机器人,格式补丁程序将可以自动应用于贡献者的 PR 。

GitHub 操作工作流
https://github.com/tensorflow/docs/blob/master/.github/workflows/ci.yaml

nblint

进行大规模 Review 的最简单方式就是让机器自动来操作。每个项目在审核过程中都会存在反复出现的问题,而解决样式问题最有效的方式就是使用样式指南(TensorFlow 偏好 Google 开发者文档样式指南)。对于大型项目,您能自动捕捉并进行修复的模式越多,用于实现其他目标的时间也就越多。

Google 开发者文档样式指南
https://developers.google.com/style

nblint 是一款 Notebook lint 工具,可针对文档的样式规则进行检查。在 TensorFlow Notebook 中,我们用其来捕捉常见的样式和结构问题:

>$ python3 -m tensorflow_docs.tools.nblint [options] notebook.ipynb

Lint 是用于测试 Notebook 特定部分的断言。系统会将这些 lint 收集到 样式模块中。默认情况下,nblint 会针对google和tensorflow样式进行测试,而其他样式模块则可通过命令行进行加载。某些样式的参数也需要通过命令行进行传递,例如,在对 TensorFlow 翻译 Notebook 进行 lint 时设置不同的代码库:

$ python3 -m tensorflow_docs.tools.nblint --styles=tensorflow,tensorflow_docs_l10n --arg=repo:tensorflow/docs-1l0n notebook.ipynb

Lint 测试可以包含关联的修复工具,以轻松更新 Notebook 来自动进行样式检查。使用 --fix 参数以应用 lint 修复,从而覆盖 Notebook,例如:

$ python3 -m tensorflow_docs.tools.nblint --fix --arg=repo:tensorflow/docs notebook.ipynb

样式模块
https://github.com/tensorflow/docs/tree/master/tools/tensorflow_docs/tools/nblint/style

了解详情

TensorFlow 是 Project Jupyter 和 Jupyter Notebook 的忠实粉丝。通过将 Notebook 和 Google Colab 结合,我们可以对指南、教程和翻译内容进行验证,简化了 TensorFlow 原本的学习旅程和扩展大型开源文档项目的方式。我们希望通过分享一些工具,可以为其他想要使用 Notebook 发布文档的开放源代码项目提供帮助。

阅读 TensorFlow 教程,然后在 Google Colab 中运行 Notebook。要为 TensorFlow 文档项目贡献内容,请向我们的 GitLocalize 项目提交 PR 或翻译 Review。

阅读 TensorFlow 教程
https://tensorflow.google.cn/tutorials/quickstart/beginner

运行 Notebook
https://colab.research.google.com/github/tensorflow/docs/blob/master/site/en/tutorials/quickstart/beginner.ipynb

GitLocalize 项目
https://gitlocalize.com/tensorflow/docs-l10n

特别感谢 Mark Daoust、Wolff Dobson、Yash Katariya、TensorFlow 文档团队,以及所有 TensorFlow 文档作者、审核人员、贡献者和支持者。

责任编辑:lq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 源代码
    +关注

    关注

    96

    文章

    2945

    浏览量

    66731
  • GitHub
    +关注

    关注

    3

    文章

    469

    浏览量

    16428
  • tensorflow
    +关注

    关注

    13

    文章

    329

    浏览量

    60528

原文标题:Jupyter Notebook 工具分享,增强 TensorFlow 文档体验

文章出处:【微信号:tensorflowers,微信公众号:Tensorflowers】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    工业物联网系统的组成部分

    、控制系统和企业级应用软件,实现了工业生产和运营过程的数字化、智能化和自动化。本文将详细介绍工业物联网系统的组成部分,包括感知层、网络层、平台层和应用层,以及它们在工业物联网系统中的重要作用。 一、感知层 感知层是工业物联网系统的基础,负责采集物理世界的信息
    的头像 发表于 10-14 14:19 281次阅读
    工业物联网系统的<b class='flag-5'>组成部分</b>

    物联网泵房的功能和组成部分

    随着物联网技术的飞速发展,物联网泵房作为智慧水务的重要组成部分,正逐步在供水、消防、工业、农业等多个领域发挥重要作用。物联网泵房通过集成先进的信息技术、自动化控制技术和物联网技术,实现了对泵房
    的头像 发表于 10-09 10:01 177次阅读

    GUTOR备品备件主要包括哪几个组成部分

    GUTOR备品备件主要包括哪几个组成部分
    发表于 09-12 17:19

    嵌入式系统的硬件组成部分

    嵌入式系统的硬件组成部分是构成其独立运作能力的关键要素,这些部分协同工作,以实现对外部环境的感知、处理及响应。以下是对嵌入式系统硬件组成部分的详细解析,涵盖了处理器、存储器、输入输出设备、接口与总线、电源管理、外围设备与模块以及
    的头像 发表于 09-02 15:27 947次阅读

    同步升压电路的基本原理和组成部分

    同步升压电路是一种重要的电路设计方案,它通过将输入电压转换为更高的输出电压,广泛应用于电源模块、照明设备、电动汽车充电系统、太阳能和风能储能系统以及便携式电子产品等领域。以下将详细阐述同步升压电路的基本原理和组成部分
    的头像 发表于 08-28 14:43 624次阅读

    基极电流的组成部分有哪些

    NPN型BJT中,发射极和集电极是N型半导体,而基极是P型半导体。在PNP型BJT中,情况则相反。 1. BJT的基本工作原理 在讨论基极电流的组成部分之前,我们首先需要了解BJT的基本工作原理。BJT是一种电流控制型器件,其工作原理基于PN结的正向和反向偏置特性。 正向偏置 :当发射极
    的头像 发表于 07-18 15:56 498次阅读

    lp模型的要素、组成部分及特征

    。本文将介绍线性规划模型的要素、组成部分及特征。 一、线性规划模型的要素 目标函数(Objective Function):目标函数是线性规划模型的核心,用于描述需要优化的目标。目标函数通常是一个线性函数,表示为: Z = c1x1 + c2x2 + ... + cnxn 其中,Z是目标函数值,c
    的头像 发表于 07-09 10:10 914次阅读

    卷积神经网络的组成部分有哪些

    卷积神经网络(Convolutional Neural Networks, CNNs)是一种深度学习模型,广泛应用于图像识别、视频分析、自然语言处理等领域。本文将详细介绍卷积神经网络的组成部分,包括
    的头像 发表于 07-03 09:31 975次阅读

    智能工厂的组成部分

    智慧工厂是工业互联网、物联网、人工智能和自动化技术的高度集成应用,其目标是实现生产过程的智能化和效率最大化。一个典型的智慧工厂由以下几个核心组成部分构成: 1. 自动化生产设备:包括机器人、智能
    的头像 发表于 06-16 10:50 1910次阅读

    伺服系统的基本要求和组成部分

    伺服系统,作为现代工业自动化和精密控制领域的重要组成部分,其性能的稳定性和精确性对于整个系统的运行效率具有至关重要的影响。本文将详细阐述伺服系统的定义、基本要求、基本组成以及其在现代工
    的头像 发表于 06-05 15:24 670次阅读

    信号采集系统的作用及组成部分

    信号采集系统是一种用于获取、处理和分析各种信号的电子设备。它广泛应用于工业、科研、医疗、通信等领域。本文将详细介绍信号采集系统的作用、组成部分以及各个部分的功能。 一、信号采集系统的作用 数据获取
    的头像 发表于 05-31 14:21 1638次阅读

    频率计的基本概念和组成部分

    在现代电子科技领域,信号的频率测量是不可或缺的一部分。频率计,作为专门用于测量信号频率的电子设备,其精准度和可靠性对于电子设备的调试、维护和研发都至关重要。本文将详细介绍频率计的基本概念、工作原理、组成部分、应用领域、使用方法及
    的头像 发表于 05-15 16:52 1147次阅读

    什么是EMSS?它包括哪些组成部分?

    、降低成本,并增强企业与员工、供应商和客户之间的沟通与协作。 EMSS包括以下几个主要的组成部分: 移动设备管理(Mobile Device Management,MDM):MDM是EMSS
    的头像 发表于 02-03 09:56 3408次阅读

    ZR机械手:未来工业自动化的重要组成部分

    ZR机械手:未来工业自动化的重要组成部分 随着科技的飞速发展,工业自动化已成为制造业转型升级的关键。在这个过程中,ZR机械手以其卓越的性能和创新的技术,成为了未来工业自动化的重要组成部分
    的头像 发表于 01-23 17:09 715次阅读

    断路器的组成部分和工作条件

    断路器的组成部分和工作条件  断路器是电力系统中常见的一种电气设备,用于开关电路,并保护电力设备免受过电流和电力故障的损害。它由许多组成部分组成,并有特定的工作条件。 断路器的组成部分可以分为以下
    的头像 发表于 01-22 13:48 2177次阅读