光场相机在什么样的条件下能够获得普及?
发布时间: 2024-02-12 08:07:09    作者:电竞比赛押注平台app


  外界(特别是摄影消费者)对当下光场相机性能和前景的普遍看法,即这盛极一时的“神器”被负面看待为“鸡肋”,

  所谓普及,就是指这一设备的广泛应用,广泛的应用意味着旺盛且庞大的需求。而在需求层面,可大致分为To C (个体消费者,如摄影爱好者)和To B(企业机构)两个方面。

  本文在尝试回答这样的一个问题之余,也逆向探讨这一个问题的反问,即光场相机究竟在什么样的条件下能够获得普及?限制其走向大众市场的“紧箍咒”究竟为何?后续技术进步的“大乘佛法真经” 能否去除这一桎梏?若能,光场相机又会在哪些领域发扬光大?

  就To C端而言,最大的需求源于摄影摄像,而光场相机的市场遇冷,最主要的原因还是其本身系统的空间-视角折中设计导致其空间分辨率过低。光场相机的原理是一个微透镜阵列被置于主透镜和CCD/CMOS感光芯片之间 (见图1), 以同时得到不同视角下的场景图片。每个微透镜下的一个像素,对应主透镜上的一小部分,从而代表了一个观察视角;每个微透镜本身则对应一个物方景象空间点。假定感光芯片像素总数为

  在这一原理的限制下,一个原始像素数目为5638*7728 (4357万)像素的感光芯片,如果微透镜下像素数目为14*14, 则最终得到的单视角图片只有402*552(22万)像素。这什么水平呢?用手机摄像头的像素数目做类比,这种级别的分辨率,仅仅略优于世界上第一款安装摄像头的手机,于千禧年2000发布的夏普J-SH04,就图3这款爷爷辈的手机,摄像头像素11万。

  这一原理性的硬件限制,极大地降低了原始感光芯片的有效利用率。而摄影爱好者对像素分辨率有着极其挑剔的诉求,就生活场景而言,要求相机千万像素起步。为了达到纤毫毕现,甚至有人宁愿回归使用胶片相机。在如此反差强烈的性能要求与供给能力对比下,光场相机败走消费者市场就几成定局!

  由于视角-空间折中关系的存在,低空间分辨率这一问题的解决并不是特别容易。最直接的解决办法,就是增加感光芯片的像素数目。一方面,但像素数目的增加也代表着数据存储量的增加,使得数据的处理和计算更加麻烦。另一方面,像素数目的增加,要么是增加感光芯片的靶面积,要么是在感光芯片面积一定的条件下使得单个像素的面积变小,但两种方法都存在各自的问题和挑战。

  对前者而言,感光芯片的尺寸,有着明确的行业标准,它与镜头的尺寸存在着适配关系,芯片的大小决定了对应镜头的尺寸大小,从而进一步决定了DOF、信噪比、动态范围等一系列性能。简单来说,越大的芯片意味着越沉重且昂贵的镜头,越浅的DOF, 越高的噪声水平还有越明显的渐晕效应……

  如果不改变感光芯片的面积,而使单个像素的尺寸变小(工艺的进步毫无疑问能够达到),则又会面临另外一个窘境。即微透镜尺寸的衍射效应约束以及f#(f数,fnumber)匹配关系约束。当仅考虑衍射效应的时候,微透镜衍射光斑的尺寸为:

  其中M是微透镜的放大系数,对微透镜可以认为其聚焦在无穷远,即M近似于0,fnumber = 微透镜焦距

  , 这里不妨假定为4,即镜头常用的fnumber; 是光波的波长,不妨假设其为可见绿光532nm, 则衍射光斑直径 为5.1微米。这在某种程度上预示着,对微透镜而言,它的物理分辨极限为5.1微米,假设将进入微透镜的光看作成很多根光线,那么这些光线中最细的就是的这个尺度。换而言之,像素尺寸低于这个值,就会造成硬件浪费,在微透镜尺寸大小不变的条件下,让像素尺寸变小,并不会提高相机的角度分辨率!这也就从另一方面代表着,也无法简单通过让微透镜尺寸变小,使得固定的CCD面积可以铺满更多的微透镜,

  而为了让感光芯片上的像素被充分的利用,微透镜下各个方向入射光线形成的光斑尺寸需要正好等于微透镜本身的尺寸,因此微透镜的fnumber和主镜头的fnumber必须匹配。如果采取更小的微透镜尺寸

  ,为了匹配主镜头的fnumber, 微透镜的焦距就需要更短,意味着微透镜本身的形状曲率更高,相应的成像像差更严重。fnumber匹配让微透镜的硬件参数无形中又增加了一个枷锁。

  由于上述约束关系的存在,可以不妨做一个大胆的判断:如果保持现有成像系统结构不变,即使感光芯片的制造工艺取得长足进步,光场相机的空间分辨率也没办法得到明显改善。光场相机能在To C端被消费者接纳存在前提,需要等到十亿到百亿级别的感光芯片诞生,相应的半导体计算、存储能力也得到巨大飞跃。就目前而言,一亿级别的芯片,已经是人类工业能力的极限。

  一句话以概括:光场相机的局限源于微透镜,微透镜的局限源于透镜光学衍射极限。微透镜即赋予了光场相机同时记录光线强度和角度的能力,但也限制了其空间分辨率的提高。

  在To B方面,对光场相机没那么高的空间分辨率要求,光场相机可以被用作科研工具,例如显微成像[1]、流体测速[2]和波前探测[3]等等,但这一领域的市场需求并不旺盛,无法称得上令技术普及。因此,光场相机的大规模应用取决于工业界需求,在这一领域,其扮演的角色是类似结构光、双目视觉一样的深度传感器。而与这些技术相比,光场相机具有被动视觉、成像快速、解算迅捷以及宽视场大景深的优势。

  在工业需求中,当下潜在巨大需求的领域大多分布在以下两个领域:工业检测与医疗诊断。

  工业检验测试方面,可大致分为内部探伤与外观检测。工业产品的外观尺寸,反映了其加工误差,不同加工环节的外观瑕疵则反映了工序的好坏,因此工业外观检测在产品的质量控制、成本控制上举足轻重,其重要性不言而喻。而工业外观检测种类非常之多,工业产品琳琅满目。这两者充分说明了光场相机的潜在市场空间十分巨大。也因此,光场相机的第一步商业实用化,是在工业外观检测上被落地实用。比如电子设备屏幕模组的瑕疵三维检测、精密工业零件(MEMS, 燃气轮机叶片等等)的加工误差检测、芯片的金属线检测,等等。应用案例可以参见,国内奕目科技公司的Vomma光场相机主页。

  在内部探伤领域,随着X-ray光场成像[4]的提出,光场成像可通过其三维立体成像优势,发展成为一种新的快速无损内部探伤手段,这是只能进行外观深度探测的结构光和线激光所不具备的优势。

  比如光场相机作为一种深度传感器,可以辅助手术机器人完成精准操作的微创手术。利用光场相机宽视场、大景深,深度信息解算迅速(100ms级别), 光场相机能够迅速定位医疗机械臂上的手术工具头的位置,同时光场相机也能够实现目标区域人体组织的定位,比如下图中,在光场相机的定位辅助下,手术机器人精准完成了伤口的缝合,光场相机还可以通过测量缝合线头的形貌,判别缝合质量。得益于光场相机的结构紧凑型,机械臂与相机的手眼标定(即相机坐标系和机械臂的运动坐标系转换)也更加便捷。

  再比如光场相机应用于内窥镜。由于光场相机基于被动视觉,无需辅助光源,基于光场相机的内窥镜,可以集成到一根探头上,而基于结构光的内窥镜则需要两个探头,即光源和成像系统,加剧了结构的复杂度和手术操作难度 (在可以只往身体内插一根管子的时候,也没病人希望插两根)。光场相机与内窥镜之间通过中继镜头使得fnumber得到匹配。光场相机同时返回人体组织的深度信息和二维影像。

  再比如光场相机应用于人眼部的医疗检测。例如虹膜的形态,除了反映人眼部健康之外,也是人别的部位生理信息的重要指标,如晚期糖尿病可引起虹膜新生血管形成,也称虹膜红肿,虹膜上出现细小血管。此外,治疗良性前列腺肥大(BPH)的药物也会改变虹膜肌张力,导致虹膜结构改变和眼部手术并发症。针对这一问题,目前的主要检验测试手段是OCT断层扫描,还有超声显微镜。但虹膜是一种动态组织,它的形状和配置可能会随着眼球运动而改变,OCT测着测着,没准病人就眨眼了。超声显微镜则需要给病人眼部麻醉,探头需要和眼球非间接接触,操作也复杂。光场相机则能够尽可能的防止这些问题,利用其快速成像的优势,检测只需要一瞬间。

  再比如光场相机应用于牙齿取模。牙科诊所,病人牙齿有缺损,需要用石膏对病人进行取模,患者咬住十分钟到半小时,石膏固化后寄送给人造牙的工厂,等个十天半个月后浇筑好的牙齿再寄送到牙医手上。但是光场成像,可以在瞬间完成牙齿三维形貌的测定。因此有希望完成快速取模,同时数据资料即时传输到人造齿生产厂商,利用3D打印造出牙齿的模具或者直接打印牙齿本身,从而极大地降低取模时间,并且显著缩短患者等待人造牙齿的时间周期。

  此外,光场相机在医疗美容也可以存在应用,作为一种深度相机,能够给大家提供整形前后的立体的外观相对变化信息……

  如前文所述,光场相机的低空间分辨率源于微透镜导致的空间-视角信息折中,而微透镜又受限于光学衍射极限,使得即使感光芯片加工工艺提高,也无法把微透镜做得更小。这一问题难道无解?非也,超透镜(metalens)技术,毫无疑问是解开这个限制的关键技术 [5]。人类技术的进步,源于两大推动力,尺度和维度。超透镜就是一种在尺度上通过细微结构,调整波前的技术。透镜的作用,无非是调制波前,使得光线汇聚。从菲涅尔透镜上我们大家可以看到超透镜的逻辑,对于一个凸透镜,去除掉透镜中对波前调制没有贡献的部位,能够获得一个很薄的但功能等效的凸透镜。这种菲涅尔透镜中的每个细微结构,负责调制波前。由此及彼,假如一个平面上有很多的细微结构(尺度接近光波波长),每个细微结构都参与调制,就能够获得一个和凸透镜一样的波前调制器。这种超透镜的最大优点是,不仅结构轻薄,消除了因为透镜厚度造成的复杂像差,更重要的是突破了衍射极限。

  可以大胆预测,在超透镜技术成熟后,光场相机的下一步道路必然是采用基于超透镜的主透镜与微透镜,在没有衍射效应的束缚下,微透镜可以越做越小,只要感光像素的尺寸能够继续变小,微透镜的尺寸就可以跟进变化。不但可以有效提升光场相机的空间分辨率,视角分辨率也可以因为像素变小而提高。原本钳制光场相机的小基线问题,也必将得到进一步缓解, 成像像差也会得到改善。

  简单总结来说,光场相机的普及,在摄影群体中具有很大的难度,受限于光场相机的空间-角度信息折中关系,这一情况不会因为感光芯片的制造工艺进步而有明显改善;而光场相机的独特优势,令其在工业上被大范围的应用存在可能;同时,超镜头技术的出现以及迭代更新的感光芯片,使得光场相机的分辨率将会得到提高,从而克服现存的性能缺陷。

  在当下的技术水平下,为了绕开折中设计这一性能陷阱,光场成像也有其他变种,比如掩码、鬼成像等等,可以下次继续探讨,这些光场相机变种与微透镜构型的光场相机在性能上的区别与优劣之分。

  声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。举报投诉

  Maxim T1、E1和J1器件内部的弹性存储器用作器件线路侧和系统侧之间的双端口缓冲区。它允许双方在不同的时钟域甚至不同的频率下工作。弹性存储的性质使得很难理解设备在给定

  的反应。本应用说明提供了许多不同的示例,应该消除有关弹性存储如何在这些不同

  轨面高速成像系统,爆炸瞬态拍摄系统,靶场现场监控系统等,这些系统或需要高速帧率、或需要超大分辨率

  相信,机器视觉测量领域必将随技术的不断革新,为工业、科研等众多领域提供改善契机,进而对人们的生活产生深远影响。

  发出50-200K的12位精度PWM啊?使得单片机可控制互补PWN.有没有这样的单片机?推荐

  期望更换电池。我假设温度范围将是室外植物的夏季生长温度,可能是65到105 F(+18C到+40C)。你认为我会在18LF系列的PIC中

  的模式,这可真是一个困扰人的大难题,有没有一种标志或办法能识别代码段处于

  的模式,这可真是一个困扰人的大难题,有没有一种标志或办法能识别代码段处于

  ,收发器能可靠地发送数据吗?收发器的基本工作方式是什么?共模电压范围是如何定义的?

  大家好,本人正在使用F2812,与大家讨论个问题。假设F2812的所有设计正常,但是现在F2812没有烧写过FLASH(即FLASH中一片空白);在此

  我想询问如果 LTC2664 能覆盖 0V 吗? i 使用这个只有单极( V 连接到 GND 12V, V- 连接到 GND, 使用外部 LT6655-3 引用, 并修复范围 ) 的 IC 。

  S32G3 (SM4.A53.SWCMP AoU) 上的解耦性能内核上执行,要不要执行冗余软件——还有哪些别的可能的替代方案?

  轻负载(低于10%)纹波较大是正常现象,如要避免该情况的出现,建议客户使用时负载不低于10%。

  轻负载(低于10%)纹波较大是正常现象,如要避免该情况的出现,建议客户使用时负载不低于10%。

  微波暗室内对基站天线来测试是一种常用的方法。由于暗室尺寸的限制,对增益较高的天线,往往不能满足远

  率较高的二维码来代替传统实体卡片,解决忘记带门禁卡的麻烦,体现出安全便捷。那么二维码门禁

  口模块——GBIC。为什么GBIC会渐渐被SFP取而代之呢?它们之间有着

  电压噪声最低的运放LT1028该怎么样做设计?低 1/f 噪声运放的下一步会怎么

  目前只能达到1100V。元器件和加工方法并没改变。请问这是什么原因呢?

  自己编写的,单传感器的应用中,还在学习。下面这些是自己学习arduino后自己编写的一段代码分享给各位,用来控制不同

  的分布呢?以下是网摘:刚接手STM32时,你只编写一个int main(){while(1);}BUILD://Prog...

  编译,因为有多个24CXX系列的EEPROM的时序是相同的,比如24C01/02/04/08

  少数地址位置缺少数据,因此要检查为什么这些字丢失,我需要查看不同地址位置的少量信号的状态。由于芯片的深度不能捕获完整的数据,我想在芯片内同时捕获不同触发

  保护ADC 输入”,那么在过压情形中也许会出现哪一些问题呢?发生的频率又是怎样的呢?有木有潜在的补救措施呢?

  (5V to 3.3V / 3A)TPS563200(17 Vin)与TLV62085(6 Vin)

  做使用, 那为什么通常会推荐TLV62085?? 因为最近常常被客户问,

  引脚发生短路。这便会导致连接D-引脚的MCU暴露于VBUS,从而损坏MCU,如图3所示。 图3:9V电压

  未使用TS3USB3000发生短路的后果。 TS3USB3000 USB开关

  实现车的开关,上周,一家专做汽车产品的公司找到谷景,想要一款应用于汽车车钥匙中的贴片电感。那么汽车车钥匙中的贴片电感需要

  。特点:方便,小巧,贴身携带。方便及时利用互联网分享。 缺点:成像一般,也就是照片效果比较差,在手机上可能还

  我是个初学者,因为导师要求我学这个,以后的研究方向也与这个有关,但我又不知道学完了,以后能干吗?求各位帮忙解释解释,如果学完这个软件,

  实现这样的测量精度?答案:答案很可能是否定的。关于明确倾斜精度值的问题总是很难回答,因为

  !几十年来,水一直是技术的敌人,因为它具有破坏性的影响。已知触摸传感器

  与水接触时工作不正常(或根本不工作)。安森美半导体的触摸和接近传感解决方案通过利用差分传感技术简化和加速设计,消除了

  本帖最后由 eehome 于 2013-1-5 10:04 编辑 高低温

  许多科技及工业部门有着日益广泛的应用和重要意义。特别是航空、航天、核工程、化工和动力工程中很多机械

  使用的湿热试验要求 GB 12665-90Requirements of damp-heat testingof electrical machine for servicein

  本帖最后由 一只耳朵怪 于 2018-5-25 17:33 编辑 我想咨询一

  的情况下去用呢?为什么我使用的时候提示unable to locate any suitable locations on net GND呢?该怎么处理?

  我的项目中使用PIC18F4520控制器。我也使用8Mhz晶体……我用2.75v给控制器中的两个电源插脚供电……电源和晶体值之间有啥关系吗?PIC

  工作做多元化的分析的书籍。或者您 有什么相关经验求教。。运放用的是OPA695.。

  两个极限之间循环。人们更常用这种测试方法来揭示或探测如下潜在的变质因素。确定

  不包括电机时的尺寸为 19 x 33 mm,因此很适合需要占用空间小的应用。电机电源电压支持为 1.8V 到 11V,且

  (包括雪崩模式和发散振荡)的性能,并研究了它们在利用零电压开关的电路中的性能。

  近日,来自美国西北大学的Mark C. Hersam等研究者,在超高真空