三星如何使用人工智能软件来提升其智能手机上的相机游戏

三星为 Galaxy S22 Ultra 上的相机功能应用了大约 60 种 AI 模型，公司高管表示，三星可以拍摄特写镜头、夜景的详细照片，甚至可以与数码单反相机相媲美。

一位公司高管表示， 三星已经应用了大约 60 个由神经处理单元 (NPU) 运行的新 AI 模型来优化 Galaxy S22 Ultra 智能手机相机的功能。

这使得这家韩国科技巨头能够提供相机体验，可以满足休闲用户的最佳照片和专业用户的 RAW 文件，相当于使用数码单反相机拍摄的文件，副总裁兼视觉软件研发主管 Joshua Sungdae Cho 表示。三星的 MX Business 在接受 ZDNet 采访时。

“三年前，我们首次将 NPU 应用于我们的智能手机，”Cho 说。“当时，这些 NPU 运行了大约 10 个 AI 模型。在 Galaxy S22 Ultra 上，现在有 60 个 AI 模型。基本上，NPU 参与了相机的几乎所有功能。”

AI 模型是通过数据集训练以应用于某些任务的决策算法，而 NPU 是专门为处理此类算法而设计的芯片。

三星用于Galaxy S22 Ultra的一种特殊 AI 模型用于人像模式，其中识别人和背景之间的深度以将它们分开——也称为分割——至关重要。

“仅用相机很难判断深度。有些相机使用深度传感器，但我们让人工智能模型研究大量具有各种背景和物体的深度相关图像，”Cho 说。

“由于我们在 S22 上有各种各样的摄像头，我们的 AI 模型也使用两个摄像头进行训练，它可以在各种条件下研究带有电线、杯子、眼镜的图像，”副总裁说。

变焦和夜间摄影

Galaxy S22 Ultra 的相机支持 10 倍光学变焦和 100 倍数码变焦。这并不是第一款这样做的机型，因为三星在两年前首次 通过 Galaxy S20 Ultra推出了 100 倍数码变焦，尽管当时的接收情况喜忧参半。

但随着新 AI 模型的开发，再加上最新 Galaxy S22 Ultra 上的 4nm 移动处理器提供的计算能力，三星相信最新的 100 倍数码变焦将给用户留下深刻印象，副总裁说。

“处理时间是 100 倍变焦等功能的关键，我们拥有处理它的计算资源。一些工作由 NPU 完成，其他工作由 GPU 完成。这一切都在可管理的时间范围内完成，因为变焦是本质上是传感器的特定区域——例如，108MP 传感器中的一个 12MP 区域。因此，变焦快照接收这个较小的 12MP 区域的大量输入。

“对于 30 倍数码变焦以上拍摄的图像，相机一次拍摄 10 到 20 张背景图像。然后它继续合成多个帧。然后，它进行另一次后期处理以确定它想要改进的细节，”Cho说。

Galaxy S22 Ultra 上的 108MP 摄像头传感器还可以将多达 9 个像素组合为一个，以便在夜间更好地吸收光线。副总裁说，这项技术与经过训练的 AI 模型相结合，可以减少噪音并确保图像在提高亮度的同时具有“夜晚的感觉”。

“天黑时信噪比会受到严重影响。所以我们想出了一个新的人工智能模型来降低噪音。我们用这个人工智能模型训练了夜间拍摄的各种照片，从数码单反相机拍摄的照片到我们创建的合成图像故意提高亮度或噪音。”

三星还改变了相机拍摄夜间摄影的方式：“在之前配备 108MP 相机的 Galaxy S 手机中，我们将像素数减少到 12MP，然后将图像放大到 108MP。对于 Galaxy S22 Ultra，当在晚上，由108MP相机和12MP相机拍摄，图像的粗略细节由12MP相机提供，而精细细节由108MP相机提供。”

接近数码单反相机

Galaxy S22 系列中的所有三款机型都 在其常规相机应用程序以及可下载的 Expert RAW 应用程序上提供自动和专业模式，该应用程序提供可使用 Adobe Lightroom 编辑的多帧 RAW 文件。

“我们真的希望 Galaxy S22 系列的相机能够覆盖休闲用户和专业用户，”Cho 说。“今天的客户对智能手机相机非常了解。因此，针对大多数用户的自动模式，我们默认打开场景优化器，为照片中的常用场景提供最佳色彩。我们还想要屏幕“无需图标即可清晰显示，而相机值现在以数字形式显示。我们希望用户界面尽可能简单。”

虽然 Pro 模式可以处理 RAW 文件，但 Expert RAW 应用程序提供 16 位多帧 RAW 文件。 

“我们为 16 位 RAW 文件充分利用了 NPU 和 AI 模型。一张快照将收集 20 张背景照片，用户可以同时为 Ultra 模型使用多达四个摄像头，”副总裁说。

数码单反相机具有大型传感器，可以让它们拍摄无噪点的 RAW 图像，但到目前为止，对于智能手机相机来说，由于它们包含较小的传感器，因此在低光环境下很难模拟。但根据 Cho 的说法，凭借 Galaxy S22 系列 NPU 提供的计算能力，它们的 16 位 RAW 文件与 DSLR 相机拍摄的文件相匹配。

“今天的专业人士想要从他们的智能手机中获取 RAW 文件。智能手机对他们来说是一种非常方便的工具，因为一部智能手机可以让他们在手掌中拥有四个镜头。使用数码单反相机，你必须随身携带四个镜头。我们真的很想在我们的智能手机上为这个群体提供与在数码单反相机上相同的匹配体验。Galaxy S22 系列提供数码单反相机上的所有功能，包括后期编辑。

寻找最佳相机设置

三星副总裁表示，NPU 的处理能力每年都会翻一番，预计这一趋势至少会持续五年。

Cho 说，今天的 NPU 可以处理 16 位算术和浮点算术，其执行方式的速度和精度预计将在未来几年继续提高。

再加上计算资源的增加，计算摄影的发展——或数字图像捕获和处理技术——智能手机上的相机预计将继续改进。

“计算摄影中最受关注的话题是多摄像头技术。研究人员和公司仍在研究最佳的摄像头设置。我们可以添加更多摄像头或更少摄像头。我们仍在寻找最佳的多摄像头设置，”副总裁说。

“相机是当今智能手机的核心，我们预计这一趋势将在未来十年持续。虽然我们目前应用了 60 种 AI 模型，但我们预计由数百种算法运行的相机的所有功能都将由 NPU 运行.

“目前 16 位 RAW 文件在分辨率方面存在限制。这需要不断改进。对于 4K 和 8K 视频，要提高实时分辨率，我们需要比现在更多的计算能力。这需要两个从现在到三年。”