第三代骁龙 8 移动平台提档 10 月发布,带来了一个巨大的连锁反应:Android 旗舰手机纷纷在今年第四季度扎堆发布,在价格和产品力上双双发力,竞争态势极为激烈,甚至有的手机发布出来,你会产生疑问:这机器能赚钱吗?
▲真我 GT5 Pro 镜头模组
比如前段时间发布的超高性价比旗舰手机真我 GT5 Pro 在其 3000 出头的价位段上,提供了极具诚意的配置:
第三代骁龙 8 移动平台(骁龙 8 Gen3)
12+256GB 的起售配置
至高 4500nits 亮度,与京东方联合研发的无双屏
100W 有线+50W 无线充电
骁龙 8 Gen3+IMX890+虹软算法组成的天花板级别长焦
SoC 不只有 CPU 和 GPU,还有 ISP 等等
十几二十年前,我们聊芯片,基本默认是 CPU,但芯片约等于 CPU 的想法早已过时,因为大芯片发展成了平台一样的 SoC(System on Chip),小芯片更是种类繁多,有负责电源管理的,有负责屏幕显示的等等。
当我们聊起 SoC 的时候,目光往往会集中在 CPU 和 GPU 上,毕竟在跑分游戏当中,它们贡献最大。
不过人生不止吃饭睡觉,手机也不止跑分游戏,当我们举起手机,打开相机取景,按下快门,接着获得一张照片,再上传到社交网络,在这个短短过程当中,SoC 几乎是「多部门协作」,动用非常多的模块。
SoC 里面,还有其他很多不参与跑分软件跑分,但至关重要的部分。
以前不久发布的骁龙 8 Gen3 为例,它的组成相当复杂,除了负责通用计算的 CPU 和图形计算的 GPU 之外,还有主要负责 AI 计算的 NPU 和 AI 引擎,负责 5G 连接的调制解调器、负责 Wi-Fi 的 FastConnect 移动连接系统,负责音频的骁龙畅听,负责安全的软硬件组合,以及负责图像信号处理的 ISP 等等。
ISP(Image Signal Processor,图像信号处理器)就是为什么骁龙 8 Gen3 能够在真我 GT5 Pro 配置表里反复出现的原因之一。
▲ ISP 运作示意图,图片来自 CSDN
空有好镜头和好影像传感器还不够,还需要 ISP 把镜头看到的,传感器接受到的,转换成屏幕能够显示的,人眼看到的。
这个过程相当复杂,首先是光线通过镜头,入射到影像传感器的感光区域,传感器经过光电转换,获得了 Bayer 格式的原始图像,也就是后缀为.raw 的图像,Bayer 格式的原始图像再经过 ISP 处理,输出空间域图像数据到后续的视频接口单元,再供给到屏幕上显示。ISP 的作用在于优化、增强和处理从手机摄像头捕获的图像和视频信号,以及管理图像数据的传感器接口和后续处理。
流程上像是连接影像系统到显示系统的转换器,但是 ISP 干的活非常多,包括但不限于图像质量改善,比如色彩增强,白平衡调节;还有降噪处理,这点在夜景拍摄中至关重要,没有强大 ISP 去减少噪点和颗粒,现在旗舰手机的夜景会非常糊;另外,包括 HDR 拍摄背后的多帧合成,慢动作拍摄,全景模式的拼接等等等。
另外,手机摄影的低门槛,也有赖于 ISP 的功劳,很多人拿到一部徕卡中画幅相机很可能都拍不出一张清晰的照片,因为对焦,光圈等都需要手动去调节。在手机上,ISP 通过实时计算,和激光对焦,光线传感器等部件一起,实现自动对焦,自动曝光,自动光圈,自动白平衡等功能,帮助用户能在打开手机相机的瞬间,就能拍下清晰的照片。
当我们诟病有的手机相机对焦慢,白平衡差,自动 HDR 还是会过曝,夜景画质不纯净的时候,很可能问题就出在那颗性能羸弱的 ISP 上。
而骁龙 8 系芯片和影像旗舰手机总是相伴出现的主要功臣,当然也是藏身其中的 ISP。
所以开头举例真我 GT5 Pro 的例子用意就在这里,因为索尼 IMX890 影像传感器+骁龙 8 Gen3+虹软算法的组合具有典型性意义,强大影像硬件配强大的 ISP 能力,和优秀算法搭配,就是能拍出好影像的基础。
骁龙 8 Gen3 这一代的 ISP 的基础性能就更加强大了,实际上骁龙 8 Gen3 的 ISP 有 3 个,支持 3 个摄像头同时拍摄 HDR 视频,色彩位深达到了 18-bit,最大支持 2 亿像素摄像头,以及 8K 30fps 或者 4K 120fps 视频录制,慢动作视频录制支持 720p 960fps…..
这意味着骁龙 8 Gen3 的 ISP 有着非常卓越的数据处理能力。
但这还不是骁龙 8 Gen3 影像能力的全部。
如果是在 5 年前,有厂商说自己的照片是单反级别,影棚级别,那一定会被专业人士和大众玩家一起声讨夸大宣传。
但是在 2023 年,已经有不少厂商开始宣传单反级人像,影棚级人像了,在一些细分场景中,影像旗舰手机的表现,似乎已经摸到了专业影像设备的门槛了。
这就是计算摄影的力量所在,让移动影像从弯道处看到专业影像的尾灯,光圈不够大?计算摄影能模拟出自然的虚化效果。焦段不够长?潜望变焦再数码变焦再计算摄影优化细节,也能得到不错的超长焦相片。
但在 2023 年这个 AI 魔法之年,影像和 AI 的耦合自然也是水到渠成。
Snapdragon Sight 骁龙影像技术的进展随着骁龙 8 Gen3 的发布,也和 AI 发生了更强关联。骁龙 8 Gen3 出众的 ISP 性能,以及进一步加强的 AI 算力,让 Snapdragon Sight 骁龙影像技术变得更强,成为诸多影像旗舰的技术底座。
比如 Snapdragon Sight 支持的 DCG(Dual Conversion Gain,双转换增益)技术是一种能提供更佳画质,更快成像的技术,可以用在 HDR 成像上。本质上这也是一种多帧合成技术,但 DCG 的多帧画面是同时产生,而非传统多帧合成的前后生成。
还有诸如夜视模式,杜比格式支持,本质上还是 ISP 性能提升的结果。
但图像扩展,对象擦除等技术,则还需要 NPU 等 AI 运算模块的支持。
此前我们会认为这些 AI 魔法般的技术不属于影像范畴,但某种程度上来说,这些曾在 PhoneShop 等软件上需要复杂操作的技术,如今变得简单易得。
并且对象擦除这种功能仅限于图片,而现在骁龙 8 Gen3 开始支持在视频当中进行对象擦除,背后依旧是「算力」的关键词在起作用。
同时,ISP 在 AI 的加持下,便可以进化成认知 ISP,能凭借高通 AI 引擎在拍摄照片和视频时进行实时语义分割,识别出图像的各种元素,比如建筑,船,河流,树木,人的脸眼发皮肤等等。骁龙 8 Gen2 的时候,认知 ISP 能够识别出图片中的 8 层语义,当时便甚至已经可以支持去除眼镜反光这样的能力,到了现在的骁龙 8 Gen3,已经将可实时识别的语义层数量提升至 12 层。
识别的层数越多,意味着对于图像的理解更清晰,后期增强的可能性就越大。
对于消费者来说,影像技术在 2023 年,在骁龙 8 Gen3 的加持下,正处在一个加速的档口:拍出一张好照片一段好视频正变得比以往更容易,同时这张照片这段视频,在 AI 的魔法下,在 Snapdragon Sight 骁龙影像技术的加持下,拥有了更多的可能性,可以扩展,可以擦除,可以再编辑。
当我们打开诸多影像旗舰手机的页面,划到影像介绍部分的时候,就会不断地感受到「算法」无处不在,和 ISP 以及 NPU 等等支撑起各种「引擎」。
实际上,如果对比 Snapdragon Sight 骁龙影像技术在技术上的准备,就会发现,其实它给现阶段的手机摄影留下了非常多的冗余。比如 4K 120fps 视频拍摄,3 摄像头同时拍摄等等功能还没有完全落地,原因嘛,当然上游厂商的进度必须要领先终端厂商,要提供更多的潜力供挖掘,而不能成为掣肘。
再展望 2024 年的影像旗舰,OPPO Find X7 系列,vivo X100 Pro+,小米 14 Ultra,三星 Galaxy S24 Ultra 等等,更强大更专业的影像旗舰,将进一步发挥出骁龙 8 Gen3 和 Snapdragon Sight 骁龙影像技术的实力。
届时,我们会更明白这颗芯的价值。