前言：旗舰级手机的拍照体验，如今也已面临瓶颈

众所周知，相机设计与拍照效果早已成为智能手机行业技术与产品竞争的重点领域。特别是自2019年以后，旗舰级智能手机产品的相机设计很明显地呈现出“更多摄像头、更高像素、更强视频拍摄能力”三大特征，而诸如五摄、1亿像素、8K视频拍摄这些以往难以想象的相机特性，如今更是在旗舰产品上甚至都可以算作“普及”了。即便如此，相信许多朋友在使用当前的旗舰机型拍照或拍摄视频时，都还是会遇到一些大大小小的问题。

比如说，在使用手机的变焦功能时，我们常常会注意到相机APP的取景画面发生卡顿、闪烁，甚至黑屏。

比如说，即便是对于许多旗舰机型而言，一旦开启了相机的“高像素模式”，拍摄一张照片后也得好几秒才能看到完整清晰的画面，不仅等待过程令人糟心，而且也导致所谓的超高像素实用性大打折扣。

除此之外，如果大家平时有用手机进行视频创作的经历，可能早已发现，如今智能手机在拍摄视频的时候，无论是感光效果、噪点抑制能力，还是实际上的清晰度，都会比照片的拍摄效果要差了不少。

为什么会这样？其实在这些烦恼背后，出问题的既不是智能手机的镜头结构，也不是日新月异的CMOS科技，而是设计思路和基础算力实际上还需要进一步提升。正因如此，当2020年12月1日晚间，高通正式端出代表着“旗舰中的旗舰”的骁龙888时，其影像部分这一次的设计才会格外令我们感到兴奋。因为从技术规格上来说，它已经打破了持续数年的手机ISP设计陈规；而从功能特性上来说，骁龙888更是有望为高端智能手机带来成像效果与影像体验上的一场革命。

Spectra 580 ISP登场，每秒27亿像素性能革命

可能很多朋友不知道的是，当今智能手机ISP的主流处理性能大致还停留在数百万像素/秒的水平。乍看之下，这好像已经不少了。但实际上正是这种数百万像素/秒的ISP性能，给智能手机的影像体验带来了很大的麻烦。

举例而言，一款具备5000万像素主摄的机型，日常使用时默认开启“四像素合一”模式，那么其实际等效像素是1250万。如果这台手机要实现屏幕观感和实际拍摄效果完全等同的“无延迟拍摄”，那么它的ISP就必须要能够以至少30FPS的速度处理和生成图像，这样才能在屏幕上以至少30FPS的速率显示至少不卡的实时取景画面。此后当用户按下快门时，ISP只需选取当前屏幕上这一帧缩略图所对应的1250万像素照片，即可实现“所见即所得”的零延迟拍摄体验。

那么此时，这部手机的ISP性能必须要能够达到12.5*30=375MP/s，也就是3亿7500万像素每秒才行。事实上，这已经大幅超过了许多现有智能手机主控的ISP处理能力。因此这些手机在拍照的时候，一方面做不到每秒30帧的后台连续拍摄+处理；另一方面其显示在屏幕上的取景画面，要么帧率不到30fps（取景画面卡顿），要么就是取景时ISP不能做到实时生成处理好的画面，只有按下快门之后才进行处理。由此所导致的直接后果，就是用户在取景时看到的颜色，与最终拍出的有差异，无法做到“所见即所得”。

相比之下，骁龙888这次配备的Spectra 580 ISP在像素处理能力上，达到了惊人的每秒27亿像素。这意味着什么呢？同样是简单地做个算术题就会知道，骁龙888能够以30FPS的速率处理9000万量级的总像素信息。这意味着它可以轻松承载当前所有主流超高像素方案在日常使用中的零延迟，以及所见即所得的拍摄任务。

比如1.08亿像素的CMOS，日常模式下四合一为2700万像素的工作模式，那么骁龙888的Spectra 580 ISP便足以支撑起它运行在60FPS甚至90FPS模式下，从而为配备高刷新率屏幕的机型带来前所未有的超流畅取景和瞬间完成的拍照体验。

又比如说，对于现在技术更先进，使用“九合一”结构工作在1200万像素模式下的1.08亿像素CMOS，骁龙888甚至可以使用全部的1200万个等效超大像素，进行120FPS的超流畅拍照或者视频录制。这使得它成为了业界首个支持1200万像素120帧每秒超高速拍摄的旗舰移动平台。

更为重要的是，由于骁龙888的Spectra 580 ISP具有惊人的超高帧率连拍处理能力，这实际上也意味着当它搭配如今旗舰机型上普遍具备的光学防抖硬件和长曝光拍摄模式时，可以实现前所未有的低光拍摄效果。结合骁龙888采用的最新第六代高通AI引擎，能够大幅提升低光环境下的照片拍摄能力，可以在只有0.1Lux照度的近乎黑暗的环境下，拍摄出一张清晰度和感光度都极为出色的超低光夜景图像。换句话说，当骁龙888上市之后，也意味着智能手机的连拍记录和夜景成像效果都有望迎来大幅提升。

首创三ISP并发，顶级多摄的潜力真正得到释放

除了整体处理性能再创新高之外，骁龙888这次的Spectra 580 ISP还有一处基础设计很值得关注。那就是它在智能手机业界里首次使用了三ISP设计。换句话说，骁龙888能够同时并发驱动三枚不同的CMOS进行取景和拍照。

这意味着什么？众所周知，四摄、五摄，甚至六摄的超多摄设计，如今在智能手机市场中并不鲜见。然而，尽管智能手机可以拥有很多枚摄像头，但传统的二ISP设计意味着在骁龙888诞生之前，智能手机的移动平台每一次都只能同时驱动两枚摄像头。

如此一来，问题就出现了，由于许多旗舰机型都至少拥有“超广角”、“广角（主摄）”、“长焦”三款焦距不同的镜头，因此当用户启动相机APP的时候，老款的ISP就不得不猜测用户的变焦喜好。比如说，它发现用户平时用长焦比较多，那么ISP就会在启动相机时，优先让主摄与长焦两枚摄像头处于工作状态。那么如果此时用户刚好选择切换到超广角副摄呢？老款ISP自然就不得不先断开与长焦CMOS的通信，然后再初始化超广角端。而变焦卡顿以及变焦黑屏闪烁的现象，也就这样发生了。

看明白了上面的例子，就不难理解骁龙888首创三ISP设计带来的优势了。很简单，三ISP的设计使得骁龙888实现了同时并发驱动三枚CMOS。这就意味着当搭载骁龙888的旗舰机型在开启相机APP时，主摄、长焦和超广角三枚摄像头可以同时在后台被激活运行，同时开始取景拍摄。此时无论是消费者向着长焦端变焦、还是向着超广角端变焦，骁龙888都能提供无延迟、平滑流畅的多摄像头融合变焦体验。

不仅如此，三ISP设计还能给搭载骁龙888的机型带来一些此前难以实现的画质增益和趣味性提升。比如说，对于我们前文中所提到，同时拥有超广角、广角和长焦的机型来说，三ISP的设计使得“对焦包围”功能仅需按下一次快门就能实现，其将呈现出前中后景深均清晰的画面表现，也能够有效解决超大底、超大光圈设计所带来的过度虚化问题。

又比如说，现在已经有一些机型采用了双长焦镜头的设计。但是因为长焦副摄的规格通常来说不会很高，这就使得“双长焦”相比于高像素的主摄，在解析力方面还是会不可避免的下降。但有了骁龙888的三ISP架构，超清主摄、人像长焦和潜望式长焦三枚摄像头就能实现画面融合，从而进一步改善手机的拍摄“望远”画质。

而在此前2020骁龙技术峰会的沟通中，高通方面相关人士还曾提及，骁龙888的三ISP拍照功能不仅可以融合多个后摄组件，同样也能支持前摄+后摄共三个镜头的同时拍照功能。这使得它甚至具备了在手机上实现360度全景拍摄效果的潜力——只要手机厂商敢想敢做，骁龙888的三ISP设计所能带来的功能灵活度，显然要远远胜过此前所有二ISP的解决方案。

多重曝光计算HDR，照片和视频的画质大幅跃升

不难看出，骁龙888这次所搭载的Spectra 580 ISP，其独特的“三ISP”设计可以实现“三重并发”——也就是三ISP同时工作，一起承担一枚超高像素主摄的高速连拍运算，也可以分别工作，同时驱动三枚CMOS进行同时拍照、画面融合，或是三焦段的4K 摄像。那么问题就来了，它还有没有别的工作模式呢？

当然有，这就是“三ISP”设计给骁龙888的拍照功能带来的另一种可能，也就是“三重并行处理”支持的计算HDR。

在以往的智能手机甚至是单反中，当用户需要拍摄HDR（高动态范围）影像时，设备实际上都至少需要进行三帧连拍，这三帧画面分别对应了欠曝、正常曝光和过曝三种情况下的光线信息，然后将它们合成在一起，才能得到一张暗处与亮处都很清晰，高动态范围的照片。典型来说，一些机型在开启“逆光人像（本质就是HDR+人像）”功能时，成像速度明显会慢一些，就是因为需要经历连拍和合成的过程所致。

但因为大多数用户在使用手机拍照的时候，都是直接手持拍摄，没有稳定器和三脚架的帮助，就让拍摄的程中不可避免地会出现手抖的情况。而一旦“手抖”遇上“连拍”，前后几张连拍照片之间就必然出现像素位置的偏差，体现在最终合成的HDR照片上，就是细节丢失和边缘伪影的出现。

然而当时间来到2020年底，情况就发生变化了。用高通自己的话来说，伴随着骁龙888的诞生，2021年的旗舰智能手机将会迎来一种全新的，被称之为单帧逐行HDR（Staggered HDR）的新型CMOS设计。

顾名思义，单帧逐行HDR CMOS能够在每一行不同的像素间切换曝光值，从而只用一次拍摄，就能获得多个不同的曝光值信息。事实上，高通作为移动影像生态中的底层核心技术厂商，也十分看好单帧逐行HDR图像传感器的潜力，骁龙888特别从架构层面实现了对单帧逐行HDR的支持。当它配合骁龙888的三ISP设计时，就意味着只需一次拍摄，新型CMOS配合骁龙888，就能直接在一帧内拍摄并生成一张同时具备三种曝光值融合的完整HDR照片了。如此一来，自然便避免了传统多帧合成HDR所带来的抖动、伪影，以及分辨率下降问题。

不仅如此，得益于一次可以同时生成三种曝光信息的三ISP拍摄能力，以及强大的ISP计算合成速度，骁龙888在前代产品10bit HDR视频拍摄能力的基础上，还首次以HEIF格式带来了真正的10bit HDR静态照片拍摄能力。这意味着对于那些具备10bit屏幕和10bit图像编解码体系的手机来说，就可以实现从拍照到视频的全流程、高速高清晰度的10亿色影像捕捉体验，带来的图像质量提升是远超以往8-bit JPEG格式的。而这也意味着智能手机向着替代专业拍摄设备的道路，又大大地迈进了一步。

全新AI 3A算法，让手机的“全自动”拍照将成为现实

最后，让我们来谈谈骁龙888这次除了“成像”以外的影像功能，它的自动对焦（AF）、自动曝光（AE）和自动白平衡（AWB）设计。

在很久以前，智能手机的自动对焦完全依赖于CMOS设计。早期CMOS只有中心才有相位对焦点，所以手机默认会优先对画面中心进行对焦，如果想要对焦到别处，则需要用户自己在屏幕上触控来更改对焦位置。

后来能够在整个CMOS面积上都实现瞬间对焦的全像素双核CMOS出现，当它配合AI拍照算法时，智能手机也开始能够自己“认出”画面里的主体，比如一朵花、一个人、一盘菜，然后自动对焦到被摄主体上。

而当骁龙888诞生的时候，研发人员这次还采用了全新的设计思路。一方面，他们将AI处理能力直接集成到了Spectra 580 ISP内部，让ISP不需要依赖CPU的其他部分，就可以用更低的延迟自己进行“思考”；另一方面，高通的工程师这次使用VR头显设备对Spectra 580 ISP的AI，进行了模拟人类视觉的自动对焦和自动曝光训练，为的就是让Spectra 580支持的高通旗下首次由AI驱动的3A（AF、AE、AWB）算法，能够获得更接近“人眼”的行为模式和判断准确度。

这将带来怎样的体验？在骁龙888的发布会上，高通演示了合作伙伴基于Spectra 580 ISP与骁龙888 AI计算能力所带来的“傻瓜相机”功能。它不仅可以自动识别画面里的被摄物体，还能实现自动控制变焦、在被摄物发生移动时通过持续变焦进行追踪，甚至就像真正的人类摄影师那样，在画面里“值得拍摄的”多个物体之间自动切换，自动完成构图、变焦、对焦、测算白平衡，以及拍照或拍摄视频的整个过程。

很显然，相比于现在仅仅只是拿AI识别场景然后套个滤镜的“智能相机”，骁龙888所能实现的全自动化AI拍照体验，才是让所有用户都能无需操作而自动拍出大片的真正“傻瓜相机”。

总结：智能手机的拍照设计，或将迎来变革

说实在的，既便只是与过去几代骁龙旗舰移动平台相比，骁龙888这次在影像捕捉、处理机制上的设计，也堪称是进步最大、变革最彻底的一代。这不仅仅是体现在本身ISP吞吐量、多摄支持能力、HDR拍摄能力和对焦，以及测光体验的参数进步上。更为重要的是，骁龙888这次的所有影像新设计都能看出是“有备而来”，并且几乎每一项的改变，都将为智能手机行业的相机设计、设备配置、用户体验带来巨大的影响。

比如说，27亿像素的ISP吞吐量，意味着超高像素机型从此可以默认开启高像素模式，在4800万像素、5000万像素，以及6400万像素模式下依然支持多帧降噪、超级夜景，甚至高速连拍功能。

比如说，三ISP设计意味着将来的手机将可以同时使用更多的摄像头进行景深和画面的合成，这将会鼓励更多“双主摄”或“双长焦”等多摄设计的出现，从而进一步改善手机的拍照画质和变焦效果。

比如说，真正的10-bit 照片拍摄与10-bit 4K 120Hz HDR视频记录能力，意味着未来手机必将普及发色数更高、分辨率更高、刷新率更高的屏幕。因为只有这样，高品质的10.7亿色HDR内容才能在更多的设备上正常回放，成为我们新的社交影像质量标准。

又比如说，全自动的、行为更接近真人摄影师的“傻瓜相机”，将会大幅简化未来手机影像内容创作的难度。不仅如此，它所具备的物体自动发现、自动对焦、自动判断能力，对于未来的工业、交通，以及医疗领域实际上也同样意义重大。

当然最为重要的是，无论是从手机厂商的准备、相关CMOS供应商的准备，还是从算法的适配情况来看，尽管距离首款搭载机型的发布还有一段时间，但骁龙888此次的影像设计革命，显然已经征服了产业链上的合作伙伴。而对于终端消费者来说，它也同样意味着智能手机业界的一场拍照革命，正在进行当中。

相关文章