使用多维图像处理增强图像分析

图像数据通常可以通过两个维度（行和列）来描述，可能还有一个额外维度用于红色、绿色、蓝色（ RGB ）。然而，有时需要进一步的维度，以便在特定应用和领域中进行更准确和详细的图像分析。

例如，您可能希望研究三维（ 3D ）体积，测量两个零件之间的距离或建模该三维体积随时间的变化（第四维）。在这些情况下，你需要两个以上的维度来理解你所看到的。

多维图像处理，或n– 维度图像处理，是从具有两个或多个维度的图像数据中分析、提取和增强有用信息的广义术语。它对于医学成像、遥感、材料科学和显微镜应用特别有用和必要。

这些应用中的一些方法可能涉及来自比传统灰度、 RGB 或红、绿、蓝、 alpha （ RGBA ）图像更多通道的数据。使用具有识别、过滤和分割功能的设备， N 维图像处理可以帮助您学习并做出明智的决策。

多维图像处理为您提供了在科学应用中执行传统二维滤波功能的灵活性。具体来说，在医学成像中，计算机断层扫描（ CT ）和磁共振成像（ MRI ）扫描需要多维图像处理，以形成身体及其功能的图像。例如，在医学成像中使用多维图像处理来检测癌症或估计肿瘤大小。

多维图像处理开发人员面临的挑战

除了识别、获取和存储图像数据本身之外，处理多维图像数据也面临着一系列挑战。

首先，多维图像的大小比二维图像大，并且通常具有高分辨率，因此将其加载到内存并访问它们非常耗时。

其次，处理图像数据的每个附加维度需要额外的时间和处理能力。分析更多维度扩大了考虑范围。

第三，计算机视觉和图像处理算法需要更长的时间来分析每个附加维度，包括低级操作和基元。多维滤波器、梯度和直方图的复杂性随着每个附加维度的增加而增加。

最后，当操作数据时，多维图像处理的数据集可视化由于考虑的额外维度和必须呈现的质量而变得更加复杂。在生物医学成像中，所需的细节水平可以在识别癌细胞和受损器官组织方面产生差异。

多维输入/输出

如果你是从事多维图像处理的数据科学家或研究人员，你需要能够高效加载和处理大型图像文件的软件。流行的多维文件格式包括：

NumPy 二进制格式（.npy ）

标签图像文件格式（ TIFF ）

TFRecord （.tfrecord）

Zarr

上述格式的变体

因为每个像素都很重要，所以您必须使用所有可用的处理能力准确地处理图像数据。图形处理单元（ GPU ）硬件为您提供了处理和平衡实时分析复杂多维图像数据的工作量所需的处理能力和效率。

cuCIM

Compute Unified Device Architecture Clara IMage （ cuCIM ）是一个开源、加速的计算机视觉和图像处理软件库，它利用 GPU 的处理能力来解决开发人员处理多维图像的需求和难点。

数据科学家和研究人员需要快速、易于使用、可靠的软件来应对日益增加的工作量。虽然专门针对生物医学应用进行了调整，但 cuCIM 可用于地理空间、材料和生命科学以及遥感用例。

cuCIM 提供 200 多种计算机视觉和图像处理功能，用于颜色转换、曝光、特征提取、测量、分割、恢复和变换。

cuCIM 是一款功能强大且快速的图像处理软件，只需对现有管道进行最小的更改。 cuCIM 为您提供了增强的数字图像处理能力，这些能力可以集成到现有的管道中：

人工智能医学开放网络（ MONAI ）

Numba

NumPy

PyTorch

TensorFlow

您可以使用 C ++或 Python 应用程序编程接口（ API ）进行集成，该接口与 OpenSlide for I / O 和 scikit image 相匹配，以便在 Python 中进行处理。

cuCIM Python 绑定提供了许多常用的计算机视觉和图像处理功能，这些功能很容易集成并编译到开发人员的工作流程中。

使用 cuCIM 不需要学习新的接口或编程语言。在大多数情况下，只添加一行代码用于将图像传输到 GPU 。 cuCIM 编码结构几乎与 CPU 使用的结构相同，因此利用 GPU 支持的功能几乎不需要更改。

由于 cuCIM 还支持 GPUDirect Storage （ GDS ），因此您可以高效地将数据直接从存储器传输和写入 GPU ，而无需在主机（ CPU ）内存中创建中间副本。这节省了输入/输出任务的时间。

凭借其快速设置， cuCIM 提供了 GPU 加速的图像处理和高效的 I / O 的优势，只需开发人员付出最小的努力，并且不需要低级别的计算统一设备架构（ CUDA ）编程。

关于作者

迈克尔·布恩是NVIDIA 自动驾驶汽车和计算机视觉的产品营销经理。

Gigon Bae 是 NVIDIA 的一名软件工程师，从事 NVIDIA Clara 的工作——这是一个用于人工智能成像、基因组学以及智能传感器开发和部署的医疗保健应用程序框架。

Gregory Lee 是 NVIDIA Clara 团队的一名软件工程师。他获得了博士学位。在密歇根大学获得生物医学工程博士学位，并在磁共振成像 （MRI） 研究领域工作了多年。

审核编辑：郭婷