0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

TensorFlow 2.4.0 候选版本主要功能改进

Tensorflowers 来源:TensorFlow 作者:TensorFlow 2020-11-26 09:29 次阅读

主要功能改进

tf.distribution 通过tf.distribution.experimental.ParameterServerStrategy API 引入了对 Keras 模型异步训练实验性支持。更多细节请参见下文。

MultiWorkerMirroredStrategy不再是一个实验性 API,现在已进入稳定版本。针对命令执行失败和其他错误进行了修复。请查看具体教程,了解如何使用 Keras 进行多任务并行训练。

对 tf.experimental.numpy 的新模块进行了实验性支持,此 API 不仅与NumPy 兼容,更便于编写 TF 程序,可参阅详细指南了解更多信息,更多细节请参见下文。

针对 Ampere 架构的 GPU 添加了 TensorFlow-32(简称TF32) 的支持,这是一种基于 Nvidia Ampere 的GPU模式,默认情况下将启用。

Keras Functional API 的内部重构已经完成,这次重构提高了构建 Functional 模型的可靠性、稳定性和性能。

Keras 混合精度训练的 API tf.keras.mixed_precision 已稳定,不再为实验性支持。这允许在训练过程中使用 16 位浮点数格式,在 GPU 上的性能提升高达 3 倍,在 TPU 的提升也高达 60 %。

TF Profiler 现在支持使用采样模式 API ,对多个工作进程进行性能分析。

TFLite Profiler Android 版本现已推出。请参阅指南以了解更多信息。

TensorFlow pip 安装包现已使用 CUDA11 和 cuDNN 8.0.2构建。

重大改进

TF Core

C-API 的字符串张量的字节布局已被更新,已与 TF Core/C++ 匹配,即 tensorflow::tstring/TF_TString的连续数组。

C-API 函数 TF_StringDecode、TF_StringEncode 和 TF_StringEncodedSize 不再被使用,现已移除;关于 C 语言中的字符串访问/修改,请参见core/platform/ctstring.h。

tensorflow.python、tensorflow.core和tensorflow.compiler 模块现在被隐藏。这些模块不再是 TensorFlow 可访问 API 的一部分。

tf.raw_ops.Max 和 tf.raw_ops.Min 不再接受类型为tf.complex64 或 tf.complex128 的输入,因为这些操作对于复杂类型的行为没有被明确定义。

由于使用了 TensorFloat-32,某些 float32 操作在基于 Ampere 架构的 GPU 上以较低的精度运行,包括乘法和卷积。具体来说,这类运算的输入从 23 位精度四舍五入到 10 位。这对于深度学习模型来说,在实践中不太会造成问题。但在某些情况下,TensorFloat-32 (单精度浮点数值)也被用于 complex64 操作。可以通过调用config.experimental.enable_tensor_float_32_execution(False) 来禁用 TensorFloat-32 。

默认情况下,XLA:CPU 和 XLA:GPU 设备不再注册。如果你真的需要它们,请使用 TF_XLA_FLAGS=--tf_xla_enable_xla_devices,但该标志位也将在后续版本中删除。

tf.keras:

compile() 中的 steps_per_execution 参数已稳定,不再为实验性支持,如果您传递的是experimental_steps_per_execution,请在你的代码中重新命名为 steps_per_execution 。这个参数控制了在调用 fit() 时,每次调用 tf.function 时要运行的批次数量。在单次 tf.function 调用中运行多个批次可以极大地提高在 TPU 中或带有大量 Python 计算的小型模型的性能。

对 Keras Functional API 内部的重大重构可能会影响到以下代码:

在检查 Keras 符号输入/输出时,使用isinstance(x, tf.Tensor) 而不是 tf.is_tensor的代码,应该改用 tf.is_tensor。

过分依赖符号张量所附加的确切名称的代码(例如,假设输入的结尾为":0",将名称作为唯一的标识符,而不是使用tensor.ref() 等)。

使用 get_concrete_function 直接跟踪 Keras 符号输入的代码,应该改成直接构建匹配的 tf.TensorSpecs 并跟踪TensorSpec对象。

依赖于 TensorFlow 操作转换为操作层后所对应的确切数量和名称的代码,可能需要更改。

使用了tf.map_fn/tf.cond/tf.while_loop/control flow 作为操作层的代码,且碰巧能在 TF 2.4 之前的版本工作的代码。现在将明确地不支持这些功能。在 TF 2.4 之前,将这些操作转换为 Functional API 操作层是不可靠的,而且容易出现难以理解或无法定位的错误。

直接对 Keras 符号值进行断言操作的代码,如 tf.rank 这样可根据输入是静态值或符号值而返回对应的类型的操作,现在这些操作将统一返回符号值。

能够直接泄露张量到计算图以外的代码,在这个版本中将更易于导致泄露。

尝试直接计算 Keras 符号输入/输出的梯度的代码。现在可以使用 GradientTape ,来代替传递给已构建模型的实际张量。

需要通过转换后的操作层进行非常复杂的形状操作才能工作的代码。Keras 符号形状推理被证明是不够的。

试图手动逐层遍历 tf.keras.Model 的代码。它假设层中只有一个位置参数。单这个假设在 TF 2.4 之前也不成立,新版本中更容易引起问题。

在构建模型之前需要手动输入keras.backend.get_graph() 的代码,现在已经不需要这么做了。

在调用 Functional API Keras 模型一开始便强制进行输入形状假释的代码。这可能对一些用户造成影响,如 在 Functional 模型中创建 Input 对象时使用的形状与传递给该模型的数据的形状不匹配时。您可以通过使用正确形状的数据调用模型,或者通过放宽 Input 形状假设来解决不匹配的问题(您可以将 shape 属性设为 None ,将此作为轴(axis)以表示这是动态的),您也可以通过设置 model.input_spec = None 来完全禁止输入检查。

tf.data:

tf.data.experimental.service.DispatchServer 现在采用配置元组而不是单个参数。用法更新为 tf.data.experimental.service.DispatchServer(dispatcher_config)。

tf.data.experimental.service.WorkerServer 现在采用配置元组,而不是单个参数。用法更新为 tf.data.experimental.service.WorkerServer(worker_config)。

tf.distribute:

移除 tf.distribution.Strategy.experimental_make_numpy_dataset。请使用 tf.data.Dataset.from_tensor_slices 来代替。

将 tf.distribut.StrategyExtended.reduce_to、tf.distribut.StrategyExtended.batch_reduce_to、tf.distribut.ReplicaContext.all_reduce 中的 experimental_hints 重命名为 options。

将 tf.distribution.experimental.CollectiveHints 重命名为 tf.distribution.experimental.CommunicationOptions。

将 tf.distribution.experimental.CollectiveCommunication 重命名为 tf.distribution.experimental.CommunicationImplementation。

将 tf.distribut.Strategy.experimental_distribute_datasets_from_function 重命名为 distribute_datasets_from_function,因为它不仅支持实验环境。

删除了 tf.distribut.Strategy.experimental_run_v2 方法,该方法在 TF 2.2 中已被废弃。

tf.lite:

引入了 tf.quantization.quantize_and_dequantize_v2,它更新了超过范围的量化的梯度定义。要模拟tf.quantization.quantize_and_dequantize(...)的 V1 行为,使用tf.grad_pass_through(tf.quantization.quantize_and_dequantize_v2)(...)。


如果您想详细了解 本文提及 的相关内容,请参阅以下文档。这些文档深入探讨了这篇文章中提及的许多主题:

使用 Keras 进行多任务并行训练
https://tensorflow.google.cn/tutorials/distribute/multi_worker_with_keras

tf.experimental.numpy
https://tensorflow.google.cn/api_docs/python/tf/experimental/numpy

详细指南
https://tensorflow.google.cn/guide/tf_numpy

tf.keras.mixed_precision
https://tensorflow.google.cn/api_docs/python/tf/keras/mixed_precision?version=nightly

采样模式 API
https://tensorflow.google.cn/guide/profiler#profiling_apis

指南
https://tensorflow.google.cn/lite/performance/measurement#trace_tensorflow_lite_internals_in_android

TensorFloat-32
https://blogs.nvidia.com/blog/2020/05/14/tensorfloat-32-precision-format/

责任编辑:xj

原文标题:TensorFlow 2.4.0 候选版本发布

文章出处:【微信公众号:TensorFlow】欢迎添加关注!文章转载请注明出处。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • API
    API
    +关注

    关注

    2

    文章

    1499

    浏览量

    61970
  • GitHub
    +关注

    关注

    3

    文章

    469

    浏览量

    16429
  • tensorflow
    +关注

    关注

    13

    文章

    329

    浏览量

    60528

原文标题:TensorFlow 2.4.0 候选版本发布

文章出处:【微信号:tensorflowers,微信公众号:Tensorflowers】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    FPD link主要功能模块

    电子发烧友网站提供《FPD link主要功能模块.pdf》资料免费下载
    发表于 09-27 11:38 0次下载
    FPD link<b class='flag-5'>主要功能</b>模块

    漏洞扫描的主要功能是什么

    漏洞扫描是一种网络安全技术,用于识别计算机系统、网络或应用程序中的安全漏洞。这些漏洞可能被恶意用户利用来获取未授权访问、数据泄露或其他形式的攻击。漏洞扫描的主要功能是帮助组织及时发现并修复这些安全
    的头像 发表于 09-25 10:25 395次阅读

    电子地图的主要功能与应用

    电子地图,即数字地图,是利用计算机技术,以数字方式存储和查阅的地图。它不仅继承了传统纸质地图的基本功能,还通过现代科技手段实现了诸多创新应用。以下是电子地图的主要功能与应用: 一、主要功能 快速存取
    的头像 发表于 09-12 11:18 1813次阅读
    电子地图的<b class='flag-5'>主要功能</b>与应用

    GUTOR不间断电源的主要功能是什么?

    GUTOR不间断电源的主要功能是什么?
    发表于 09-06 17:44

    微处理器的主要功能是什么

    微处理器(Microprocessor),作为计算机系统的核心部件,其主要功能对于整个计算机系统的运行至关重要。
    的头像 发表于 08-22 11:48 1851次阅读

    RFID天线的工作原理和主要功能

    RFID(Radio Frequency Identification,无线射频识别)天线作为RFID系统中的关键组件,其工作原理和主要功能对于整个系统的性能和稳定性至关重要。以下是对RFID天线工作原理和主要功能的详细阐述。
    的头像 发表于 08-09 15:38 1250次阅读

    连接器的主要功能是什么

    连接器的主要功能是实现电子设备之间的电气连接和信号传输。连接器的种类繁多,应用领域广泛,其主要功能可以归纳为以下几点: 电气连接:连接器的主要功能是实现电子设备之间的电气连接。连接器通过其金属接触件
    的头像 发表于 06-20 09:22 972次阅读

    接地电阻柜的主要功能是控制和限制接地电流

    中性点接地电阻柜的主要功能是控制和限制接地电流
    的头像 发表于 05-09 15:16 427次阅读
    接地电阻柜的<b class='flag-5'>主要功能</b>是控制和限制接地电流

    SMD电感器的主要功能是什么?

    SMD电感器的主要功能是什么? SMD电感器的主要功能是用于电路中的电感元件,主要用于储存能量、传输信号、滤波和产生磁场等。 一、能量储存和传输: SMD电感器可以储存电能并将其传输到电路的其他部分
    的头像 发表于 02-03 15:07 1165次阅读

    TC397的VDDP3引脚的主要功能是什么?

    1.TC397的VDDP3引脚的主要功能是什么?用来给类似外部FLASH供电使用的吗? 2.我是否可以不使用VDDP3引脚,讲VDDP3引脚串联一个100nf电容到GND? 3.TC3X系列是否有硬件设计指导手册?
    发表于 02-01 08:28

    传感器的主要功能是什么

    传感器是一种能够感知外界环境并将这些信息转化为可用信号的装置。它们在各行各业和领域中起到关键作用,被广泛应用于科学研究、医疗诊断、工业控制、农业生产等众多领域。传感器的主要功能包括测量和监测、控制和反馈、安全和监控、诊断和检测以及位置和导航,本文将详细介绍传感器的主要功能
    的头像 发表于 01-27 17:10 3064次阅读
    传感器的<b class='flag-5'>主要功能</b>是什么

    滤波器的主要功能和作用科普

    滤波器是一种用于处理信号的电路或系统,其主要功能和作用包括
    的头像 发表于 01-25 18:10 7601次阅读

    bms主要功能有哪些

    、储能系统等新能源领域的关键部件,其主要功能是对电池组进行实时监控、保护和管理,以保证电池组的安全、稳定和高效运行。本文将对BMS的主要功能进行详细介绍。 数据采集:BMS通过传感器对电池组的电压、电流、温度等关键参数进行实时采集,以便对电池组的工作状态进行全面了解。这些
    的头像 发表于 01-05 18:09 7962次阅读
    bms<b class='flag-5'>主要功能</b>有哪些

    集成放大电路中输出级的主要功能

    主要功能,并探讨其工作原理、应用和性能优化。 一、输出级的主要功能 集成放大电路输出级的主要功能是放大输入信号,并将其输出到外部负载上。具体来说,它需要完成以下几个任务: 放大信号:输出级的核心任务是将输入信号放
    的头像 发表于 12-29 10:34 1547次阅读

    电源滤波器的主要功能和作用

    电源滤波器是电子设备中非常重要的一部分,其主要功能是过滤电源中的杂波和干扰信号。
    的头像 发表于 12-25 18:19 1606次阅读