别再争那条裙子是蓝黑还是白金了,这个摄像头能一眼看穿
还记得那条闹得沸沸扬扬的“裙子”吗?有人说它是蓝黑色的,有人却坚称是白金色。这条裙子在2015年刷爆了全球社交媒体,连科学家都被卷入了这场争论。为什么同一张照片,在不同人眼中看到的颜色会完全不同?
它是蓝黑还是白金?| Swiked/Tumblr
其实,这种“眼见不为实”的经历,我们几乎天天都在经历。在餐厅拍了一道色香诱人的菜品,发到朋友圈却变得暗淡无光;在商场里看中一件翠绿色的上衣,拍照发给闺蜜,她却说:“这不是军绿色吗?”
问题不在你的眼睛,而在手机的“眼睛”——摄像头,确切来说,是摄像头里感光用的传感器。这不是某个品牌或者某款手机的问题,而是所有手机都面临的难题。
不过最近,华为在新发布的Mate 70系列手机上带来了一个特别的解决方案—— 一颗被称为“红枫原色摄像头”的新型摄像头。红枫摄像头的全名,叫做“150万像素、9光谱通道摄像头”,分辨率比720P视频稍微清晰一点点。这个摄像头的原理,居然和航天遥感卫星是一样的。
天生“色盲”
这么说可能会让你大吃一惊,但其实你的手机摄像头,和所有的数码相机一样,天生都是“色盲”的。它们的感光元件只能分辨光线的强弱,完全无法分辨颜色。
就像我们眼睛里有无数细小的感光细胞能感受到光线一样,手机摄像头里也布满了这样的感光元件。当光线照到这些感光元件上时,它们只会产生一个简单的信号——“这里有多少光”。但它们不知道这些光是红色的、绿色的,还是蓝色的。这就像一个色盲的人,他能看出亮暗,却分辨不出颜色。
那手机为什么还能拍出彩色的照片呢?这就要提到1974年,柯达公司一位名叫布莱斯·拜耳(Bryce Bayer)的工程师想出的一个绝妙的主意了。
红、绿、蓝三原色可以调配出所有颜色 | Immanuelle
你可能在美术课上学过,红、绿、蓝是三原色,它们的组合可以调配出所有的颜色。想让“色盲”的传感器分辨颜色,最容易想到的方案就是用三块传感器,分别记录红、绿、蓝三种颜色,再组合成一幅图像。
但柯达公司说,这不是目前地球人应该有的技术,造出来了也没人买,太贵。
连柯达也造不起这么贵的设备 | Giphy
拜耳没有放弃。既然三块传感器太贵,那为什么不在一块传感器上做些文章呢?他盯着桌上的摄影用彩色滤光片,突然顿悟:如果把这些小小的彩色滤光片,像铺瓷砖一样贴在传感器上,是不是就能让不同位置的感光点分别记录不同的颜色?
灰色的是传感器,彩色的是滤光片 | Wikipedia
就这样,拜耳设计出了一种像马赛克一样的彩色滤光片阵列:在每四个相邻的感光点上,覆盖一片红色、两片绿色和一片蓝色的滤光片。
为什么绿色滤光片要用两片?这是因为人眼对绿色最敏感,多放一些绿色滤光片,能让照片看起来更符合人眼的感觉。
拜耳的笔记本,中间的方格就是拜耳阵列 | KAPcooney
这个发明彻底改变了数码摄影的历史。今天,几乎所有的数码相机和手机摄像头都在用这种方案。它有个正式的名字,叫“拜耳阵列”,仅需一块传感器,就能拍出彩色图像。
但这个方案并不完美:每个感光点上只能放一种颜色的滤光片,这就意味着每个位置只能记录一种颜色的信息,另外两种颜色的光究竟有多强?答案是不知道,只能靠算法来猜。
这种“猜”的方式在大多数情况下都能应付过去,但在某些场景下就会露馅。特别是在单调的纯色背景,或者复杂的光源下,相机就无法猜出“真正的白色”,白平衡变得乱七八糟,照片色准也就更容易跑偏。
这就是为什么有时候我们会觉得手机拍出的照片“色彩不真实”。
上图由加滤光片的相机拍摄,下图由手机拍摄。哪个更接近现实?yingliuzhizhuzed, GitHub
Mate 70和 Mate 70 Pro都采用了拜耳阵列的排布方式。我们将这种两绿、一蓝、一红的传统排列方式称为RGGB。
在Mate 70 Pro+上,摄像头则采用了RYYB的排列,用黄色替代了绿色。之所以这么做,是因为黄色滤光片的透光性更好,传感器能收集到更多的光线,在暗光环境下拍摄效果更好。
一暗一明,对比明显 | Autel Robotics
不过这也带来了新的挑战:按照红、绿、蓝三原色原理,黄光中既包含红光,也包含绿光。虽然进光量增加了,但黄色滤光片让红光和绿光都可以透进传感器,这样就更难猜测物体到底是红是绿,具体又有多红多绿了。
想要准确还原颜色,需要更复杂的技术。
世界上有多少种颜色?
要解决这个问题,关键就在于:能不能让相机减少“猜测”,直接准确地记录更多颜色信息?
这就是华为“红枫原色摄像头”要做的事。
刚才提到红、绿、蓝三原色,在摄影和遥感中,称之为“通道”。手机和相机就是通过这三个“通道”,采集三种不同颜色的信息,用来合成彩色照片的。但哪怕算力再高、算法再先进,如果只能看到这三种颜色,也总会有力不从心的时候。
最简单的解决方案,是增加通道的数量。
阳光透过三棱镜形成的七色彩虹 | Steed 摄
你一定留意过,当阳光透过三棱镜时,会分散成彩虹的七种颜色。实际上,自然界中真正的光,都可以被分解成不同的颜色,而那些颜色绝不是红橙黄绿蓝靛紫那么界限分明,而是持续不断连续变化的。这些连续变化的颜色,科学家称之为“光谱”。
通道数越多,对现实中光线的还原程度也就越好,照片的色彩也会更加贴近现实。这很好理解,和三原色比起来,七种颜色的组合会更像真实的彩虹,对吧?
颜色越多,越像真的 | EPSON, Britannica
红枫原色摄像头的通道数量为9个。也就是说,在它的不同的感光点上,覆盖了9种不同的滤光片,因此它能“看见”9种不同的颜色,用来拟合真实的光线。
另一种9通道的多光谱传感器,同样有9种滤光片 | 昊量光电
如果用一位画家的调色盘来打比方的话,传统手机摄像头只有红黄蓝3种颜料,而红枫原色摄像头则是一个有9种颜色的调色盘。颜料越多,调配出的颜色就越准确,画出来的画也就越真实。
官网介绍“150万多光谱通道”,断句不明,不太科学 | 华为
红枫原色摄像头的像素数只有150万,这在今天看来确实不高,只略强于iPhone 5s的前置摄像头,但它的职责不是拍照,而是像一位“颜色总监”一样,指导手机上其他高像素摄像头应该如何还原色彩。
天降导演组,准备开拍 | Giphy
这种工作方式带来了明显的效果。以往手机在复杂光线下容易拍出偏色的照片,比如晚霞下的照片偏红,阴天拍摄的照片偏蓝。有了这位“颜色总监”,手机就能更准确地判断现场的光线颜色,从而拍出更接近人眼所见的照片。
上图无红枫摄像头,下图有红枫摄像头 | 石洲朋 摄
还记得文章开头提到的那条裙子吗?如果拍那张照片时,有这样一位“颜色总监”帮忙调色,或许就不会有那么多争议了。
拍花,拍矿,拍地球……
说到这里,你可能会问:这种技术和航天遥感卫星有什么关系呢?
当卫星在几百公里的高空拍摄地球时,它需要准确分辨下面的是森林、农田,还是城市。这个任务并不容易。比如从太空往下看,一片健康的农田和一片受病虫害侵袭的农田可能都是绿色的,普通相机很难分辨。但在多光谱技术下,健康的农作物和生病的农作物会显示出完全不同的“颜色指纹”。通过这种方式,科学家可以及时发现农作物的生长状况,甚至预测产量。
红枫摄像头的原理,和遥感卫星多光谱技术一脉相承,只是它的通道在可见光范围内切割得更加精细。如果有人真能把一台Mate 70送上太空,它的红枫原色摄像头就能像遥感卫星一样工作,拍下地球9通道的卫星照片——虽然分辨率可能差一些。
信使号探测器用多光谱拍摄的地球,红色是被标记的植被 | NASA
目前,这颗摄像头只是摄影管线的一部分,我们还无法直接用它来拍照。假如我们可以单独调用这颗摄像头,说不定能拓展出不少好玩的应用。
理论上,它还可以用来识别花朵、矿物、可乐、种子…… 甚至在厨房里,它还能帮你区分放在罐子里的白色晶体到底是糖还是盐——毕竟在多光谱相机眼中,两者的“颜色指纹”是不一样的。
可乐、酱油、醋和红酒也能靠多光谱来区分 | 友思特
现在只剩下一个问题:手机有了,什么时候买火箭把它送上卫星轨道呢?
参考文献
作者:深思
编辑:Steed
封面图来源:Swiked/Tumblr
本文来自果壳,未经授权不得转载.
如有需要请联系sns@guokr.com