萧箫 发自 凹非寺
量子位 | 公众号 QbitAI赶在春节前,各家国产安卓旗舰机陆续上市,从小米12 Pro、荣耀Magic V、iQOO 9 Pro,到一加10 Pro、realme真我GT2 Pro、moto edge X30…晃眼一看数不过来。
拿到手机后,就能发现挺多有趣的功能细节:
像小米12 Pro的“万物追焦”,一举成为铲屎官心头好,就算宠物跑出画面,也能自动对回焦,雷军看了都要激情转发:
又像是拿手机助手当“一卡通”的荣耀Magic V,特殊场景下自动识别定位并弹出应用窗口,像到快递站弹收货码,到机场弹登机牌,到地铁口弹乘车码:
……
花哨的功能并非突然冒出来的。
近些年,手机圈比拼早已不是性能参数式的唯“分数论”,随AI技术发展,加之骁龙8芯片这样的硬件迭代,AI大量结合需求场景,提供更多丰富的可能。
那么,这些新功能用的是什么样的AI能力?这些能力中,又有多少与底层芯片关联?
一起来看看这些新应用背后的技术“底细”。
从人眼追踪到“电子围栏”
先来看看AI在摄影、办公通勤、通信等场景的新应用。
摄影上,最好玩的功能要属小米12 Pro的“万物追焦”了。
这项技术可谓手残党的福音,不用再担心目标滑出镜头之外,因为AI的眼里只有它:
△图源:鹅板凳
(在发现这项技术能拍摄猫狗鱼鸟后,网友们开始整活起了乒乓球和键盘,甚至有网友想拿它追拍蚊子……)
这项技术从小米的“铁蛋”机器狗的人体视觉追踪技术中移植而来,扩展到了小米12 Pro上。
但要注意的是,小米12 Pro镜头追踪的物体,全部都是它没有见过的,而且这些物体的角度、大小都会发生变化,甚至可能在镜头内外“反复横跳”。
也就是说,AI必须掌握迅速学习目标特征的能力,将第一次见到的物体“记录下来”,并在再次见到时就认出它。
除此之外,小米12 Pro的“万物追焦”还首次实现了人眼追焦功能,近距离锁定人眼,远距离放大到全身。
△即使动作夸张如跳大神也能识别(狗头)
在人脸识别时,骁龙8提供的300个面部识别特征点(速度还提升3倍)技术,还能很好地解决超广角镜头下缩小人脸后难以识别的问题。
结合手机检测到剧烈运动时自动提高快门速度的功能,“万物追焦”就能保持画面的清晰度,避免出现下图这种效果:
其他旗舰的摄影能力进步,主要体现在夜景上。
手机厂商们不会放过骁龙8在夜景拍摄方面带来的优势。毕竟相比于上一代芯片,还只是合成6帧左右图像用于拍摄清晰夜景,今年骁龙8的AI引擎直接一口气合成30帧(反正AI算力够大)。
这其中的代表要属iQOO 9 Pro的夜景视频,简直就是夜景模式的“卷王”、AI算法的全家桶。
从NR噪声消除、MEMC运动补偿、多帧融合,再到自研AI Deglare和RAWHDR等算法,能用上的AI算法着实不少。
如果想要更快地拍摄夜景效果,就必须实时运算多个AI算法,对于芯片算力的要求同样巨大。结合骁龙8,iQOO 9 Pro拍出的夜景视频更接近人眼:
办公通勤上,最好用的要属荣耀Magic V的智能卡片。
你会发现,这个结合了“电子围栏”和智能助手的功能,好像一直默默在后台运行,一旦到达指定地点,手机就会自动弹出通知,生怕你错过什么重要信息,但功能又不会特别耗电。
也就是说,只要带着这部手机,你出行时就像从一个“围栏”走到另一个“围栏”中,AI能准确地感知到你去了哪里。
例如你刚到机场赶飞机,手机屏幕上就已经弹出了电子登机牌、或是智能报时提醒,确保不错过航班:
这类可以实时启用、感知周围环境的功能,加上骁龙8上的第3代高通传感器中枢,能让AI能在极低功耗下处理大量数据信息,性能增加75%的同时,功耗还比上一代降低50%。
要是在早前手机芯片上运行这类实时启动的卡片,不仅速度更慢,还会更费电。
通信上,最实用的功能要属AI网络信号增强了。
moto edge X30针对信号研发了三类算法,其中ASDiv用来选择最合适的天线信号,MAAT则是用来在弱网模式下(高铁、电梯等)增加信号强度,最后SRS则是给信号选择最优的传输路径。
在这里,骁龙8集成了骁龙X65调制解调器和射频系统,支持AI天线调谐技术,用AI让信号传输更稳定的同时,将手握感知精确性提升30%、功耗还降低30%。
嗯,所以在电梯里、高铁上玩手机,应该也会比之前更流畅。
除了这些场景外,游戏上如真我GT2 Pro、一加10 Pro等旗舰机也会用AI来调度资源。
当然,上面这些都还是应用层面的提升。
同时运行更多AI算法
从根本上来说,这些新算法的运算性能提升、功耗下降,背后离不开骁龙8的第7代AI引擎。
虽然厂商们推出了不少新AI算法,但如果芯片性能不足、运行出现卡顿的话,这些算法就会变得很鸡肋。
因此,必须在硬件大小受限的情况下,想办法提升芯片AI性能。
一方面需要提升硬件中的专用AI芯片算力,例如在今年的新一代Hexagon中,高通透露张量加速器性能提升了2倍、共享内存提升2倍,整体AI工作负载性能提升70%。
另一方面,更需要在软硬件适配上,进一步做研究。例如高通近几年一直在进行的研究之一,就是量化技术。
量化能在不降低运算精度的情况下,给AI模型做个“瘦身”,让它们以更低的功耗在手机上运行,目前相关论文已经有不少发表在NeurIPS等顶会上。
这也是骁龙8的第7代AI引擎提升4倍性能的秘诀之一。
AI性能提升的结果,就是帮助厂商们在后台不经意塞下了更多AI算法。
例如,小米12 Pro就用AI来降低屏幕发出的有害蓝光,同时还要保持颜色呈现自然。在护眼模式下,这个算法需要一直在后台运行;
又像moto edge X30搭载moto AI丽音技术,专门用来进行通信和录音降噪,而这会在打电话、搞视频会议等通信场景下持续运算;
再或是像AI自流畅引擎、智能充电这种“感知不到”的AI技术,实时运算背后都有骁龙8的加持。
再例如各手机中的智能语音助手、场景感知等功能,其实都或多或少需要AI算力,在分配资源、确保算法流畅运行的情况下,骁龙8同样起到了不少作用。
不过,你以为这就是骁龙8的全部AI能力了吗?
Nonono。
这些能力还有待“榨干”
事实上,骁龙8支持的很多AI功能还可以继续挖掘。
例如,最新推出的手游AI超分辨率。
事实上,这也一直是备受手游玩家们期待的技术之一。
毕竟原本手游在遇到战斗场景、或是需要高帧率运行的复杂场景时,基本都会出现掉帧、画质下降的情况,来维持游戏运行的流畅性,但手机超分辨率就能解决这一问题。
这项技术,有点像是应用于端游的深度学习超级采样技术(DLSS),利用AI提取渲染场景的多维特征,智能地组合多帧画面中的细节,构造高质量画面。
这样,手机运行游戏时,既能提升画质、又能确保游戏性能的稳定,最终提升游戏体验感:
不止是游戏。
如果能将AI超分辨率成功调教到手机中,你甚至能看到更清晰的直播、更高质量的特效拍照等应用。
除了超分辨率以外,同样值得挖掘的还有“自动锁屏”功能。
当时这项功能发布时,就有网友调侃这是“摸鱼神器”,能在老板注视手机屏幕时及时锁屏。
具体来说,就是当它检测到有陌生人注视着你的手机界面时,直接“黑掉”屏幕:
就是不知道老板会不会勒令你重新打开界面(狗头)。
这项技术是骁龙8集成的第四个ISP,有了它,能做到的还远不止防偷窥这项功能,因为它可以让摄像头保持在极低功耗下运行。
当它检测到有二维码,例如机场的行程码、或是各地的健康码时,就能更快地弹出对应的程序界面,省去了加载应用的时间。
嗯,也能在你看屏幕的时候自动解锁界面——
没错,解放双手的那种。
像是做菜的时候,即使你双手都抽不出身,也能通过人脸解锁手机,查看对应的菜谱应用。
不仅如此,骁龙8还支持同时运算多个CV算法模型,也能用来玩出更多有意思的特效拍照等应用。
除了上述这些技术以外,骁龙8还给合作厂商集成了各类开发AI功能的工具和模型合集。
包括谷歌Vertex AI NAS功能、开源的AIMET等量化工具、以及抱抱脸支持的数千个超快NLP模型等,都还有待厂商们去发掘。
未来,我们或许也能在更多新机上看见这些AI功能。
看完这些已经落地、或是可能即将落地的AI应用,你最喜欢哪一个、或期待什么功能实现呢?
本文首发于微信公众号:量子位。文章内容属作者个人观点,不代表和讯网立场。投资者据此操作,风险请自担。
(李显杰 )