eda banner

 

weixinneirong shoutu

(本文已先后授权发表于《中国集成电路》2020.第10期 CN 11-5209/TN、ISSN 1681-5289及《IP与SoC设计》2020第3期。未经授权请勿转载。约稿或转载事宜,请致函sophy_chen@silintech.com,感谢合作。)

QQ20201225105226

             早在2018年,作为一种新型的视觉传感技术,飞行时间(Time of Filight,ToF)原理就掀起了手机移动端的一阵狂风,一度成为国内OPPO、Vivo、华为等几大Android手机厂商的关注热点。其中,这国内前三强争先将ToF技术运用于其品牌旗舰机的摄像镜头,通过搭载3D ToF立体深感镜头,实现人脸解锁/支付、3D焕颜拍照、3D试装、体感游戏、全息影像交互、测距、室内定位、导航等多场景化功能体验。ToF与结构光(Structured light)不同,它具有体积小、误差低、工作距离远,能直接输出深度数据与抗干扰性强等创新特点。随着ToF技术的提升、成本的下降,以及未来在5G、AR与VR技术的加持下,ToF将开拓更为广阔的应用前景,有望带来产业端的升级,这是它被业界一致看好的重要原因。据外媒透露,于今年秋季发布的苹果IPhone12手机也抛弃了之前的结构光方案,转而采取用户体验更佳的ToF技术。

 

              同样,在今年的新冠疫情中,ToF技术发挥了卓越表现:①通过3D景深ToF相机方案研发的智能防疫机器人,能做到全程零接触式协助医护人员工作,实现精准避障、探测、诊断功能,高效完成任务,帮助减少交叉感染的风险。②在人流量高度密集的机场、高铁站、轨道交通等公共场景,基于ToF技术的解决方案,可以精准分辨出入者的身高、体重等体征,出入时间及高度误差控制在1%范围以内。这对于疫情的实时监测,包括人员流量监测、人员流向及潜在传染人群分布范围,起到了至关重要的作用。③在复工企业领域的应用,又包括:基于ToF 3D立体影像的智慧门禁系统,通过无接触式人脸识别考勤代替传统的指纹打卡,助力企业疫情管控。

 

QQ20201225105327

             ToF飞行时间原理,是一种通过传感器给目标发射信号,然后接收从目标反射回来信号,计算两者之间的时间差,用以测量传感器与目标物体之间的距离的方法。ToF主要特征:

 

          (1)光和声音信号都可以应用于ToF测距方案,但是相较于声音,光兼具有更高速度、更宽测量范围,以及更轻重量的优势。使用红外光作为发射光源(illuminator),可以确保减少信号干扰,并且更容易与自然光区分开来,从而使测距传感器在同等的尺寸和重量的条件下,获得最佳性能。

 

          (2)ToF作为一种3D成像测距法,与基于双目立体视觉(Stereo vision)或结构光(Structured light)的三角测距法相比,具有测距范围更长(>6m),三维信息重构速度更快的明显优势,适用于任何室内外光环境。

 

          (3)ToF技术的运用,需要ToF模组小型生态系统的支撑,包括:红外光源(VCSEL)、光镜/摄像头(Lens)、核心器件CMOS图像传感器芯片(CIS),以及允许特定波段信号通过的窄带滤光片。具体实现方式:LED红外光源向被测物体发射经过调制过的近红外面光源,光传播到物体表面上后有一部分会反射回来,CMOS图像传感器接受反射回来的光束并转换成电信号,通过控制电路(MCU)和处理电路(CPU),对反射光束的强度信息计算出相位差,并基于相位差计算出光束由发射到被接受所需要的飞行时间,在已知光速的情况下,即可计算出传感器到被测物体之间的距离(光飞行的距离)。

 

          (4)基于ToF技术的3D深度图像传感器,可实现较宽动态距离范围,或在捕捉快速移动的物体时不会产生运动模糊。再加上具备低功耗、轻盈小巧的优点,完全可搭载于智能手机、机器人、无人机等个性化移动设备。另外,其极高的测量速度(帧速率)使得芯片非常适合即时定位和地图构建(SLAM)应用,以及工业自动化、交通监控和管理等智能城市应用方面,测距精度可达到毫米级。

 

          (5)ToF技术的投入,拉动了整个ToF产业链的发展,也促进了CIS年出货量的迅猛增长。据IC insights报告指出:到2021年时,世界CMOS图像传感器(CIS)市场规模将达到159亿美元,年出货量将破80亿颗。

 

          (6)3D ToF技术应用场景还可拓宽至智能驾驶领域(高级辅助驾驶系统ADAS),例如,采用ToF技术的倒车系统,适用于车外目标探测,可以同时侦测到多个不同距离的行人与障碍物,即便是“身材”矮小的障碍物也能被感应到,从而警示驾驶人员了解车后情况。适用于车内的3D ToF深度摄像头,通过对人脸的检测算法,实时获取人脸特征,检测驾驶员是否有闭眼、歪头、低头等动作,从而判断驾驶员的疲劳指数、注意力集中程度,实时发出安全驾驶提醒,有效降低交通事故发生率。据麦肯锡公司数据调查,现今的90%的交通事故可归因于驾驶员的失误,而自动化驾驶的应用可以预防这些失误。

 

         (7)在如今炙手可热的虚拟现实(Virtual Reality)和现实增强(Augmented Reality)的应用上,ToF更是核心技术。例如,结合5G高宽带网络+3D视觉技术的3D视频通话、虚拟会议、体感游戏、数字博物馆等实景与虚景相结合的AR和VR体验。通过深感镜头的深度测量、扫描建模、骨骼识别、运动捕捉,突破性地将现实世界物体、人像、空间虚拟化。

 

           除此之外,3D机器视觉系统,在航空航天、国防、医疗保健、物流、以及工业4.0领域皆有着广泛而丰富的创新应用价值。例如,通过自动导引车(Automated guided vehicles),对信件、包裹甚至码垛货物进行高速有效地分拣。从工业1.0蒸汽时代,到工业2.0电气时代,到工业3.0信息化时代,到后工业时代—工业4.0智能化时代,围绕着数字技术等新兴行业的发展,国际市场展开了新一轮竞争。

 

 

QQ20201225105620

           本节以瑞士Espros Photonic公司生产的epc611为例分析。epc611是一款基于ToF算法的光学测距和目标检测芯片,由于其内置集成了CCD传感器阵列和读出电路、光驱动发射和辅助控制功能模块,因此是目前市场上唯一一款真正集光电于一体的SoC芯片。其主要功能:

 

          (1)epc611芯片可独立应用于简单的手势识别、各类电动门保护、机器附近的人员存在探测,以及应用于SLAM的快速测距仪,如:扫地机器导航、机器人避障、AGV小车等。基于该芯片搭建的扫描器可实现30m的探测距离,精度可达毫米级,测量速率最高可达每秒8´000帧。epc611芯片不需要复杂的外部组件,仅需一个微处理器加上少量的外部组件,就可以制造出一台功能齐全的ToF测距仪或ToF摄像机,而低功耗的设计,更使得每平方毫米仅需要7.5nW即可精准测量距离。

 

         (2)epc611芯片支持数字和模拟输出驱动,从而方便客户配合LED、Laser Diode或VCSEL等不同发光源的使用。通过动态配置,epc611还可以将所有像素合并成单个大像素,从而可以测量较宽的动态距离范围,或捕捉快速移动的物体而不会产生运动模糊。

 

          (3)图1 所示为epc611芯片的光学概貌图和芯片管脚分布图,芯片管脚分布与概貌照片为左右镜像翻转对应。epc611芯片的外形尺寸为2.6mmX2.6mm,采用24针脚的WLCSP芯片级封装,芯片制造工艺为台积电(TSMC)0.13um 6M1P (6层金属,1层Poly)CMOS工艺制成。另外,芯片的输入电源包括了2个正电压和1个负偏置电压,其余电源电平由芯片内部生成。整个版图中,芯片的Psub衬底隔离成了4块区域,分别对应数字区,模拟区,LED驱动区和PLL时钟调制区,其衬底地通过不同管脚引出,这样可以有效隔离不同区域产生的噪声电子,减小干扰。芯片的中央为一个CCD结构的8x8阵列光电传感器,探测器阵列采用背照式入射光,因此芯片厚度被减薄至250um。

 

 pic1

pic2

图1.芯片概貌图和芯片管脚分布图

          (4)对芯片的电路原理和版图布局分析是采用芯联成科技有限公司(Silintech)独有的集成电路竞争力分析BunnyGSv1.8.0软件。该软件可对芯片进行器件与线网提取,并通过分析整理,最终将芯片图像照片转换成能展现原电路设计思想的具有高度可读性的层次化电路原理图结构。另外,BunnyGS软件采用OA格式,因此电路数据可以由Cadence 等主流EDA软件直接读取并针对相应工艺进行仿真验证。BunnyGS软件还支持对任意器件、线网或功能单元在照片和电路数据间的交叉索引和追踪功能,并能将电路数据导出为EDIF200、SPICE或Verilog等其它格式。

 

            图2所示为通过BunnyGS软件分析完成的芯片模拟电路部分顶层原理图。可以看到,芯片的模拟电路被划分成了多个不同功能的模块,不仅展示了从发光控制信号的调制驱动、回光信号的检测与放大、到ADC数模转换这一条完整的ToF信号电路结构,也包括了片上电源管理、基准偏置、测温校正和EEPROM存储等辅助功能模块。图3为从芯片版图角度进行分析获得的系统架构与功能模块分布,表1则为各模块的功能说明。

 

top

图2.通过BunnyGS软件分析整理后的Top电路原理图

 

8F088F0A 5391 4927 8610 B401546F5293

图3、芯片版图架构与功能分布

 

QQ20201225110808

表1.芯片功能模块说明

 

 

            (5)根据基准时钟和工作模式设置,ToF芯片首先产生内部调制信号,并通过LED驱动模块输出以控制外部红外发光源(通常为850nm波长),输出驱动可以是直接采用漏级开路(LEDOD)的模拟驱动方式,也可以是通过输出推挽信号(LEDPP)的数字驱动方式,时钟调制信号直接决定了ToF芯片的光学检测性能。在ToF芯片中,通常需要刻意将调制信号做一定的相位延迟后再用于LED驱动输出,其目的是在一定的距离范围内,使调制信号和解调信号之间的相位差保持相对固定。Epc611芯片采用了49级延迟线(DLL)电路,其中每一级采用RC充放电延迟结构。

 

            (6)光电传感器阵列将探测物体反射回的红外光转换成光电荷,并根据信号解调后的相位信息,分别存储到每个像素内的MGA和MGB两个电荷阱中。积分周期结束后,通过行扫描和列读出电路的配合,每个像元内的电荷A和电荷B分别被放大读出,并通过相关电路(Correlator)计算出差值以抵消环境光的影响,从而获得有效相位信息,该相位信息再通过列ADC模块转换成12位数字信号输出。数字相位信息通过SPI串行通信协议被从芯片传输给上位机,以计算得出最终的相应距离信息。列读出放大器(见图4)和ADC转换比较器(见图5)是其中影响精度的关键模块。

 

PICTURE 4 copy

图4.列读出放大器

 

PICTURE 5 1 copy

图5.ADC转换比较器

 

            (7)Epc611芯片的内部电源管理包括了4个LDO线性降压变换器和1个电荷泵升压变换器。电荷泵升压变换器(见图6所示)是将8.5V的输入电源VDD变换成12V的内部高压。3个LDO调压器分别将输入电源VDD变换成5V的模拟电源VDDA、1.8V的数字电源VDDCORE和时钟电源VDDPLL。另外,还有1个LDO调压器将电荷泵升压电路产生的12V内部高压变换成10V的光电检测电源VDDHPX。所有的内部调压电路都配有过压和欠压保护电路。

 

PICTURE 6

图6.电荷泵升压变换器电路

       

                 除了以上描述的完整的ToF信号链电路和内部电源管理电路,Epc611芯片还包括了一个128字节的片上EEPROM模块以存储配置信息和校正数据,以及测温电路等辅助功能模块。

 

QQ20201225112547

           

              根据波士顿咨询公司2015年预测,到2025年,通过3D成像技术实现自动驾驶的市场份额将会占到汽车总市场份额的25%。其中最关键的图像传感器CMOS由于成本低、工艺兼容信好、信号读取灵活等优点,将会被广泛应用于ToF三维测距相机上。总而言之,ToF芯片在未来有着极为广阔的应用场景。