您好,欢迎来到逸睿芯城 !
当前位置: 首页 > 新闻资讯  > 热门资讯

自研ISP芯片,复刻蔡司镜头……手机摄影进入硬件级算法时代

2021-09-08 16:05:31


    摄影是手机厂商寻求差异化卖点的主要赛道,也是消费者重度使用的功能。随着手机摄影向生产力工具演变,消费者对个性化场景、复杂化场景的拍摄需求越来越高,对手机的数据处理能力和能效指标提出前所未有的要求。

    手机成像是硬件芯片、光学器件、软件算法共同作用的结果。因此,越来越多的手机厂商开启了算法和硬件自研,或与芯片厂商联合定制CMOS、SoC等关键元件,以面向不同消费群体构建品牌性格。在9月6日的影像技术分享会上,vivo围绕自研影像芯片、光学器件优化、软件算法提升,展示了vivo在硬件级算法时代的布局策略。

    定制影像芯片 能力与功耗兼得

    如果说镜头是人类的眼睛,ISP就是视觉神经。镜头捕获的信息需要经过ISP的处理,才能转化为被人眼识别的图像。

    在高通、联发科等第三方公版芯片中,ISP往往集成在SoC中以提升与GPU的互联效率及硬件整合度。但集成ISP往往难以满足消费者的个性化或重度拍摄需求。

    为此,vivo推出了自研独立ISP芯片V1。作为独立ISP,V1在主芯片集成ISP成像能力的基础上,叠加专业影像处理能力,从而释放了主芯片的算力和能效。在既定的业务下,V1既可以像CPU一样高速处理复杂运算,也可以像GPU和DSP一样,完成数据的并行处理。面对大量复杂运算,V1在能效比上相比DSP和CPU实现指数级提升。

    “过去手机拍照处理一张照片需要半秒或一秒,现在的30fps视频,需要一秒处理约30帧画面。对运算密度提升和能耗下降的要求,产生了巨大的技术鸿沟。定制化芯片能释放主芯片的功耗负载,提升用户使用体验。” vivo影像算法总监杜元甲表示。

    具体来看,V1为手机摄影带来三个优势。

    一是将旗舰级桌面电脑吞吐能力搬到手机中。V1采用全片上储存,优化了高速读写电路,实现等效32MB的超大缓存,超越了目前旗舰级桌面电脑处理器16MB到24MB的数量级,读写速度达到35.84Gbps。

    二是支持多个计算成像算法的实时并发处理,在V1的协助下,主芯片可以在低光录像时,以低功耗运行4K 30FPS的MEMC去噪和插帧,配合主芯片ISP原有的降噪功能,实现二次提亮二次降噪。

    三是满足用户对性能提升和功耗降低两个看似矛盾的需求。通过将软件算法转移至V1的专用硬件电路中,相比软件实现的方式,V1的专用算法硬件电路功耗降低了50%。

    据悉,V1将在vivo新旗舰X70首次搭载,于9月9日发布。

    采用玻璃镜片 突破光学器件

    镜头作为手机的眼睛,同样有着复杂的结构。由于手机镜头高度集成化,业内大多手机型号选择了塑胶镜片。但是,塑胶材料在光学设计优化方面已遇到瓶颈。相比之下,玻璃镜头能具有通透性好、折射率高等特点,能拔高手机摄影的上限。

    然而,玻璃镜片的制作工艺难度更大,工艺步骤比原先增加了11步,工序复杂,每100片中才能挑选出60片良品。 经过与蔡司团队经过多轮验证,vivo克服工序复杂,工艺步骤多的难点,在手机搭载了高规格玻璃镜片。

    据悉,这块玻璃镜片具有高透光率、超低色散、热稳定强的效果,镜头0.9F以内,色差设计值比上代降低了70%以上,阿贝数达到了81.6,是目前手机行业中使用过的阿贝数最高的镜片,可明显改善高反差场景的紫边、伪色等问题。

    在此基础上,vivo还采用了AOA动态光学校准工艺,动态调整镜头里的部件,通过实时补偿,调整镜片厚度误差和镜片偏心误差引起的清晰度降低问题,保证镜头的光学品质。

    在夜景拍摄中,手机摄影常出现炫光和鬼影,这对反射率更低的镀膜技术提出了要求。vivo应用了SWC镀膜,将反射率最低降低到0.1%,下降幅度达90%。同时,vivo采用了色素旋涂技术,以解决色素与蓝玻璃的附着力问题,滤除花瓣鬼影。

    算法升级AI助力 还原蔡司镜头

    对于追求专业摄影体验的用户来说,“原始素材+严谨后期”才能最大程度地还原拍摄主题及场景。

    为了还原色彩的自然感,vivo联合蔡司共同研发“蔡司自然色”,以满足专业用户的色彩需求。借助更精细的色彩调试算法支撑效果实现,经过粗调试和精细调整,使照片的色相准确度ΔE收敛了约15.5%,在较小的ΔE和仍然良好的饱和度中找到平衡。

    同时,vivo基于算法和模型,尝试在手机端还原蔡司经典镜头Biotar和Sonnar的人像风格。为还原Biotar的景深感,vivo通过深度计算获得图片的深度信息,并给予图像合理的虚化效果,实现镜头成像的深度还原。为此,vivo采用了深度卷积网络,学习了28万张人像分割、10万张手势分割图片。此外,通过像场分布模型、滤波核生成技术模型,vivo分别对Biotar的口径蚀和光斑进行还原,最终在手机上重现了Biotar和Sonnar的镜头效果。

    平台、器件、算法等各方面的共同协作,决定了最终的成像品质,算法与硬件,缺一不可。vivo影像产品经理王兆丰表示,手机影像行已经进入硬件级算法时代,vivo将结合技术探索与人文思考,在人性化的专业影像道路上不断前行,希望手机影像为创作带来更大的可能性。




相关资讯

    暂无相关的数据...