谷歌云（Google Cloud）利用AI将照片数字化

珍贵的纸质老照片该如何保存？《纽约时报》与谷歌云合作，利用AI将19世纪以来的500－700万张历史照片数字化。谷歌云的AI技术不仅可以将照片数字化，还能扫描照片上的笔记，分类它们包含的位置、日期等语义信息 。

纸质老照片记录下了当时的珍贵时刻，其中的历史意义也更为重要，但纸质极容易损坏，人类该怎么保存它们，让它们恒久远永流传？

谷歌云（Google Cloud）利用AI将照片数字化。

在《纽约时报》位于美国时代广场办公室附近的地下室中存放了大约500万张到700万张的旧照片，存在这些照片的地方名为资料档案室。

《纽约时报》不仅存放了这些照片，也存储了有关它们是何时发布及其发布原因的相关信息。现在，该报正在与谷歌云合作，准备将其庞大的藏品数字化。

谷歌云官方发布博客称，它将与纽约时报合作，将庞大的照片集数字化，利用谷歌云中的工具帮助《纽约时报》安全地存储照片，提供更好的界面来查找照片，甚至可以通过照片背后的数字来获得更多照片内蕴含的信息。

纸质实物易腐烂，通过AI保护珍贵的视觉遗产

“资料档案室保存的照片可以追溯到19世纪末期，其中许多内容具有巨大的历史价值——很多照片是世界上其他地方都没有的。 2015年，一个破损的管道淹没了档案馆 ，使整个馆藏面临风险。 幸运的是，当时只有轻微的损害，但这一事件引发了人们反思：这些最宝贵的实物资产该如何安全存储？

《纽约时报》的资料档案室

“资料档案室是一个易腐文件的宝库，不仅是《纽约时报》的历史，而且是近一个多世纪以来影响我们现代社会的全球事件的无价编年史。”《纽约时报》新任首席技术官Nick Rockwell说。

不仅照片的图像包含有价值的信息。 在许多情况下，照片的背面包括拍摄照片的时间和地点。Rockwell补充说：“照片部门和商业方面的工作人员多年来一直在探索将这些照片数字化的可能途径。 但就像去年一样，数字化存档的想法似乎仍然遥不可及。”

《纽约时报》的老照片：1984年，苹果创始人史蒂夫·乔布斯

为了保护这个无价的历史，并让《纽约时报》能够通过更多的视觉叙事和历史背景来增强其报道， 《纽约时报》正在对其档案进行数字化，使用谷歌云来存储资料档案室内所有图像的高分辨率扫描。

谷歌云是可用于存储对象的系统，它为纽约时报等客户提供自动生命周期管理，不同区域的存储以及易于使用的管理界面和API。

AI工作原理：Google Cloud中的技术可以处理和识别照片中的大量信息

仅仅存储高分辨率图像不足以创建照片管理者可以轻松使用的系统。

有效的资产管理系统必须允许用户轻松浏览和搜索照片。《纽约时报》建立了一个存储和处理照片的处理系统，并将使用Google Cloud中的技术处理和识别图像中可以找到的文本、手写内容和其他细节。

以下它的工作原理：

将图像提取到云存储后， 《纽约时报》使用Cloud Pub / Sub启动处理传输途径以完成多项任务。 通过在Google Kubernetes Engine （GKE）上运行的服务调整图像大小，图像的元数据存储在运行在谷歌完全托管数据库产品Cloud SQL里的PostgreSQL数据库中。

Cloud Pub / Sub帮助《纽约时报》创建其处理流程，而无需构建复杂的API或业务流程系统。它是一个完全托管的解决方案，因此没有时间维护底层基础架构。

谷歌云官方发布与《纽约时报》合作将照片数字化的宣传片，讲述了AI工作原理

为了调整图像大小和修改图像元数据， 《纽约时报》使用开源命令行程序“ImageMagick ”和“ ExifTool ”。 他们将ImageMagick和exiftool添加到Docker镜像中，以便以最小的管理工作量、一种水平可扩展的方式在GKE上运行它们。 添加更多容量来处理更多图像并不重要，当不需要服务时，《纽约时报》可以停止或启动其Kubernetes集群。 这些图片还存储在云存储的多区域位置创建的存储桶中，以便在多个位置提供可用性。

存档的最后一部分是在图像及其元数据在“纽约时报”管理系统中移动时跟踪它们。Cloud SQL是一个很好的选择。对于开发人员，Cloud SQL提供了一个标准的PostgreSQL实例：作为完全托管的服务，无需安装新版本、应用安全补丁或设置复杂配置。 Cloud SQL为开发者们提供了一种使用标准SQL解决方案的简单方法。

不只是存储图像，机器学习可以获取照片上的很多信息

存储图像只是这个故事的一部分。

为了使像《纽约时报》资料档案室的图片更加便于使用，利用额外的GCP功能是有益的。 在《纽约时报》的案例中，扫描照片的更大挑战是添加有关老照片的内容数据。 Cloud Vision API可以帮助填补这一空白。

让我们来看看《纽约时报》旧宾州车站的这张照片。 来看下这张照片的正面和背面。

这是一张漂亮的黑白照片，但没有额外的背景，从照片的正面看不清楚它在讲述什么。 照片背面包含大量有用信息，Cloud Vision API可以帮助我们处理、存储和阅读它的信息。 当谷歌将图像的背面提交给API（无需额外处理）时，我们可以看到Cloud Vision API检测到以下文本（译者注：文本逻辑并非完全清晰，主要是照片上的碎片化内容）：

1985年11月27日

1992年7月28日

时钟悬挂在1942年宾夕法尼亚车站主要大厅的入口上方，右侧是车站外部，然后于1963年拆除。

在纽约出版

存储于1972年4月30日

《纽约时报》那时赋予这张照片的意义：1942年拥挤的宾州车站，这个时代“只有勇敢的飞行 - 到华盛顿，迈阿密和各种各样的车站。”

背面信息：

宾州车站的好日子/怀旧之旅

（OCT 3194

RAPR 20072

摄影：纽时时报工作人员，1942年，纽约人大学城的旧宾夕法尼亚电视台。该人士在现在的Postellgesikha将军那里建立了一个发电台

Pub NYT Sun 5/2/93 Metro

THURSDAY EARLY RUN o cos x ET RESORT

EB 11 1988

RECEIVED DEC 25 1942 + ART DEPT. FILES

The New York Times Business at rail terminals is reflected in the hotels；

OUTWARD BOUND FOR THE CHRISTMAS HOLIDAYS The scene in Pennsylvania Station yesterday afternoor afternoothe New York Times (Greenhaus)

这是我们的Cloud Vision API的实际输出，无需对图像进行额外的预处理。 当然，数字文本转录并不完美，但它比处理数百万张图像的替代品更快，更具节省成本。

谷歌云：将过去带向未来，使所有信息都变得可用

这只是个开始。 类似于《纽约时报》的公司可以使用Vision API来识别对象、地点和图像。 例如，如果我们通过带有徽标检测功能的Cloud Vision API传递上面的黑白照片，我们就可以看到宾州车站被识别出来了。

谷歌云的自然语言API可用于向已识别的文本添加其他语义信息。 例如，如果我们通过API，通过文本“纽约时报的方式 - 1942年拥挤的宾州车站，一个只有勇敢飞行的时代 - 华盛顿，迈阿密和各种各样的车站。”正确地将“宾州车站”，“华盛顿”和“迈阿密”识别为位置，并将整个句子分类为“旅行”类别和子类别“公共汽车和铁路”。

谷歌云在博客中声称，帮助《纽约时报》改造其照片档案完全符合谷歌的使命，即组织世界范围内的信息并使其普遍可用和有用。