1. 引言
早在幾十年前就有了3D圖像技術(shù)的概念，但產(chǎn)品商業(yè)化是在2000年后，許多大型電影制片廠宣布使用最新的高清攝像機(jī)獲得3D效果。此后，不僅僅在消費(fèi)市場(chǎng)，在工業(yè)機(jī)器視覺領(lǐng)域，3d圖像技術(shù)從速度，誤差精準(zhǔn)度以及分辨率上得到了飛躍性的發(fā)展。
隨著工業(yè)4.0的崛起，傳統(tǒng)2D技術(shù)在誤差精準(zhǔn)度和距離測(cè)量方面非常受限，尤其是在復(fù)雜物體識(shí)別和尺寸測(cè)量以及互動(dòng)應(yīng)用例如人機(jī)互動(dòng)，3D視覺的需求越來(lái)越多。
在工廠自動(dòng)化領(lǐng)域，3D視覺能夠提高機(jī)器人/機(jī)器系統(tǒng)的自主性和有效性。 實(shí)際上，3D視覺對(duì)于更高精度的質(zhì)量檢查，逆向工程或2D視覺受限的物體尺寸檢測(cè)是必不可少的。 此外，使用視覺系統(tǒng)引導(dǎo)的機(jī)器人技術(shù)正在增長(zhǎng)，需要3D視覺更好的遠(yuǎn)程指導(dǎo)，障礙物識(shí)別和準(zhǔn)確移動(dòng)。
廣告
3D視覺還保護(hù)工廠里的工人在密集的人機(jī)交互系統(tǒng)中免受阻礙并解決危險(xiǎn)情況， 還可通過(guò)監(jiān)控系統(tǒng)進(jìn)行計(jì)數(shù)并識(shí)別自然人和機(jī)器人。
3D視覺通過(guò)各方面滲透影響著社會(huì)，并為最終用戶提供更安全，更高性能和更有效的援助系統(tǒng)。 例如，3D視覺應(yīng)用于先進(jìn)的汽車自動(dòng)輔助駕駛系統(tǒng)，自主車輛，協(xié)作機(jī)器人...
本文旨在探討3D成像技術(shù)，以及工業(yè)3D應(yīng)用中先進(jìn)的嵌入式CMOS傳感器技術(shù)。
2. 3D 圖像概論
當(dāng)前，用戶可通過(guò)好幾種技術(shù)和方案獲得3D，以下部分旨在簡(jiǎn)要概述每種技術(shù)及其優(yōu)缺點(diǎn)。
2.1 Stereo vision technique立體視覺技術(shù)
類似人類大腦控制目測(cè)距離，兩只相機(jī)，拍相同位置，不同角度安裝，利用視覺差和校準(zhǔn)技術(shù)提取物體深度信息。
圖 1 – Stereoscopic system principle – source Techbriefs
2.2 Structured light technique結(jié)構(gòu)光技術(shù)
由相機(jī)和投影儀組成。投影儀投射條紋光帶到物體上，相機(jī)拍攝條紋光，根據(jù)物體上光的條紋扭曲計(jì)算位深信息。
圖2 – 結(jié)構(gòu)光系統(tǒng)原理圖– source University of Kentucky, Laser Focus World*
2.3 Laser triangulation激光三角測(cè)量
激光三角測(cè)量系統(tǒng)由2D相機(jī)，鏡頭，激光器組成，通過(guò)測(cè)量從被測(cè)物表面反射的光來(lái)確定被測(cè)物的位置。 激光器將光斑投射到被測(cè)物，反射光通過(guò)成像相機(jī)聚焦在光敏裝置上。 根據(jù)激光相對(duì)被測(cè)物表面的距離，激光點(diǎn)出現(xiàn)在相機(jī)視野中的不同位置。 這種技術(shù)稱為三角測(cè)量，由激光點(diǎn)，照相機(jī)和激光發(fā)射器形成三角形。
高分辨率激光器通常用于需高精度，穩(wěn)定和低溫度漂移的位移和位置監(jiān)測(cè)應(yīng)用中。
圖3 –激光三角測(cè)量原理圖
2.4 Time-of-Flight TOF原理
TOF原理是利用光源與圖像傳感器同步，利用發(fā)射光脈沖和光返回到圖像傳感器上的時(shí)間差來(lái)計(jì)算距離。
圖 4 – Time-of-flight 系統(tǒng)原理圖
2.5 3D 圖像技術(shù)對(duì)比
如上所述，每種技術(shù)都有優(yōu)缺點(diǎn)，因此，根據(jù)應(yīng)用特別是距離范圍和深度精度要求，選擇更合適的方案。 在表1中進(jìn)行相對(duì)比較。
表1. 3D Imaging techniques ‘top-level’ comparison
目前，3D系統(tǒng)主要靠立體視覺，結(jié)構(gòu)光和激光三角方案，這些系統(tǒng)主要用在固定工作距離，同時(shí)在特定檢測(cè)領(lǐng)域中需要較高水準(zhǔn)的校準(zhǔn)。
Time-of-Flight 系統(tǒng)可以克服這些困難，從應(yīng)用角度更加靈活，但是目前更多的是受限于分辨率。
3. Teledyne e2v在工業(yè)市場(chǎng)獨(dú)特的3D方案
基于機(jī)器視覺領(lǐng)域，Teledyne e2v提供的線掃描相機(jī)和面陣傳感器的成功積累，Teledyne e2v正在構(gòu)建一個(gè)專用于3D成像的獨(dú)特平臺(tái)，以支持最新的工業(yè)應(yīng)用，如視覺引導(dǎo)機(jī)器人，物流自動(dòng)導(dǎo)引車輛（AGV），工廠監(jiān)控和 安全或手持掃描儀，以及戶外應(yīng)用。Teledyne e2v旨在提供多種3D技術(shù)和解決方案，以滿足客戶的應(yīng)用需求。
Teledyne e2v主要提供以下三種3D方案
? Laser triangulation 激光三角測(cè)量
? Stereo vision and structured light 立體視覺和結(jié)構(gòu)光
? Time of Flight TOF技術(shù)
3.1 激光三角測(cè)量方案
Teledyne e2v可提供標(biāo)準(zhǔn)品，同時(shí)也可以特殊定制高速sensor :
? 廣泛的可選分辨率：每條輪廓線2k到8k個(gè)點(diǎn)
? 高幀率sensor: 可達(dá)20kfps
? 高靈敏度，低噪: QE>60%, SNR of 43dB
? 多種高動(dòng)態(tài)范圍性能
? 獨(dú)一無(wú)二地芯上處理技術(shù): 讀出通道上的數(shù)字處理，芯上子像素峰值計(jì)算
? 快速記錄中最大化信道容量: 可達(dá)32Gbps LVDS 接口
3.2 立體視覺和結(jié)構(gòu)光系統(tǒng)
Teledyne e2v提供標(biāo)準(zhǔn)CMOS sensor， 有如下關(guān)鍵性能：
高級(jí)別SWAP-C (size, weight, power and cost): 小光學(xué)尺寸, 多封裝方法以優(yōu)化尺寸和成本，低功耗 200mW @ 全幅面；
o Sapphire/Ruby 系列: WVGA, 1.3 & 2MP , 1/1.8”
o Emerald 系列: 130萬(wàn)像素到1600萬(wàn)像素, 像素尺寸2.8μm (其中16MP芯片是1” 光學(xué)尺寸,8MP是 2/3” – 全世界獨(dú)特性)
? 可見光& 近紅外，高靈敏度版本: 每個(gè)芯片系列公用同一個(gè)platform– pin-to-pin 兼容
? 可從快速移動(dòng)物體獲取 3D圖像: 高達(dá)125fps, 高全局快門效率，高速雙快門；
? Sensors圖像傳感器一致性: 每個(gè)sensor系列共享一個(gè)平臺(tái)– pixel-to-pixel兼容；
? 3D 處理: multi-ROI (多ROI功能，4個(gè)窗口), binning, 圖像數(shù)據(jù)的直方圖由傳感器芯片直接生成
高全局快門效率應(yīng)用于快速移動(dòng)物體
Teledyne e2v一直致力于高效率全局快門的圖像傳感器的創(chuàng)新和開發(fā)中，這種性能可以避免快速運(yùn)動(dòng)物體拍攝中的偽影現(xiàn)象。在拍攝運(yùn)動(dòng)物體時(shí)，當(dāng)積分時(shí)間遠(yuǎn)小于讀出時(shí)間時(shí)容易發(fā)生該現(xiàn)象，因?yàn)閳D像的上部分將在底部部分之前開始積分; 并且在這些間隔之間，物體已經(jīng)移動(dòng)。
這就需要像素內(nèi)存儲(chǔ)元件在積分發(fā)生之后存儲(chǔ)電荷直到其被讀出。 該技術(shù)基于5T結(jié)構(gòu)。 缺點(diǎn)是填充因子減少，CDS類型時(shí)間域噪聲降低方法有限。 由于這兩點(diǎn)，與4T ERS相比，對(duì)于給定像素尺寸，現(xiàn)今全局快門（G / S）下的SNR要稍微差些。
然而，在像素的存儲(chǔ)寄存器中使用pinned junctions減小了時(shí)間域噪聲，同時(shí)暗電流和固定噪聲以及SNR之間不再存在差距。 考慮到填充因子方面，像素上micro-lens的進(jìn)步和優(yōu)化（例如零間隙）可以在對(duì)波長(zhǎng)響應(yīng)的靈敏度方面取得顯著進(jìn)步。
近紅外高靈敏度芯片應(yīng)用于高精度檢測(cè)
Teledyne e2v標(biāo)準(zhǔn)CMOS 芯片有較高的量子效率（QE ）。
例如下圖，Teledyne e2v 的Sapphire 系列和Ruby系列的QE；Sapphire主要用于可見光，Ruby在可見光和近紅外部分都有提升和優(yōu)化。5T技術(shù)下，像素尺寸5.3μm x 5.3μm，高達(dá)80% 的QE 可稱殿堂級(jí)CMOS芯片。
圖 5 – QE versus wavelength response of new global-shutter CMOS imagers
綜合以上革新性的技術(shù)板塊，Teledyne e2v標(biāo)準(zhǔn)CMOS芯片可廣泛應(yīng)用于可見光和近紅外光下日夜和戶外高速物體的高精度3D檢測(cè)中。
3.3 Time-of-flight 3D 技術(shù)方案
Teledyne e2v推出第一個(gè)3D TOF 方案， 基于130萬(wàn)像素，1英寸光學(xué)尺寸，高靈敏度和高動(dòng)態(tài)范圍CMOS芯片。
? 130萬(wàn)像素: 全幅面下的深度圖，全幅面下精度< 3cm, 高速雙快門
? 拍攝高速運(yùn)動(dòng)物體的3D圖像：高達(dá) 120 fps, 全幅面下 30fps 深度圖, 高全局快門效率
? 大范圍3D 檢測(cè): 高近紅外靈敏度，高動(dòng)態(tài)范圍60DB， 可檢測(cè)范圍 [0.5米 to 5米]
? 可見光和近紅外高靈敏度芯片: 50% QE at 850 nm, 高動(dòng)態(tài)范圍模式: 暗光/ 日夜
? 嵌入式3D處理: Multi-ROI (2個(gè)窗口), Binning, 嵌入式芯上圖像處理
如下Teledyne e2v開發(fā)的演示TOF系統(tǒng)，包含實(shí)時(shí)130萬(wàn)像素芯片扳機(jī)相機(jī)，1英寸鏡頭，可見光/近紅外光源，[0.5m to 5m]檢測(cè)范圍，輸出位深圖或者點(diǎn)云數(shù)據(jù)，主要用于給用戶演示TOF原理，供用戶用來(lái)評(píng)估此TOF芯片性能；
表2 – Teledyne e2v’s Time-of-Flight 演示系統(tǒng)功能
基于5T CMOS傳感器的ToF技術(shù)
主動(dòng)成像是基于同步控制光源實(shí)現(xiàn)的成像方法。比如我們使用的手機(jī)上會(huì)使用紅外信號(hào)來(lái)判斷在低光條件下的距離進(jìn)行輔助自動(dòng)聚焦。主動(dòng)成像主要應(yīng)用于在惡劣天氣條件（霧）下拍攝圖像或三維圖像。距離選通成像（Range Gating）以及飛行時(shí)間（ToF）為兩種主要的主動(dòng)成像技術(shù)。距離選通技術(shù)有兩點(diǎn)需要：脈沖波前和高速快門相機(jī)。當(dāng)反射從反射平面返回時(shí)，光朝向目標(biāo)發(fā)送，相機(jī)的高速電子快門在恰好的瞬間打開。光脈沖飛行一定距離后到達(dá)物體然后，會(huì)部分被物體反射并被相機(jī)接收。這對(duì)相機(jī)高速快門精準(zhǔn)控制，以便相機(jī)傳感器能剛好在脈沖返回一顆快門打開，接收到測(cè)量信號(hào)。通過(guò)對(duì)光源以及相機(jī)的同步設(shè)置可以選擇想要獲取圖像的距離。在比較惡劣的測(cè)試條件下，比如雨天，霧天或者強(qiáng)散射介質(zhì)，只有很少一部分光子可以穿過(guò)介質(zhì)并返回到照相機(jī)。距離選通成像是克服惡劣測(cè)試條件，提高系統(tǒng)信噪比的有效方法。ToF直接測(cè)量光的飛行時(shí)間以推斷反射平面所在的距離。與距離選通技術(shù)不同，ToF不選擇圖像平面，它允許直接距離成像。
如圖6所示，距離選通圖像捕獲的實(shí)現(xiàn)基于同步的相機(jī)源光系統(tǒng)。相機(jī)具有非常快的全局快門，微秒量級(jí)。在T0處，相機(jī)發(fā)送的觸發(fā)給同步光源使其發(fā)射脈沖。一段時(shí)間后T1，光脈沖到達(dá)預(yù)設(shè)測(cè)量距離范圍，若有物體存在于該范圍內(nèi)則被反射，反之則不會(huì)有反射信號(hào)。在反射的情況下，光經(jīng)過(guò)T2返回相機(jī)。在T3 = T0 +2?時(shí)刻相機(jī)的快門打開并捕獲反射光。如此重復(fù)循環(huán)過(guò)程，以便累積足夠的信號(hào)。生成的圖像僅對(duì)應(yīng)于該范圍中存在的對(duì)象。如果需要生成深度圖像，需要在幾個(gè)深度處掃描一系列距離選通模式的圖像，或者通過(guò)調(diào)整延遲?。然后從該組圖像計(jì)算距離。
圖 6 – 距離選通技術(shù)原理示意圖
圖7為在全局快門圖像傳感器相元的工作示意圖。信號(hào)積分不是一次性實(shí)現(xiàn)，而是通過(guò)連續(xù)多次微曝光（micro-integration）積累足夠多探測(cè)到的光子來(lái)實(shí)現(xiàn)距離選通成像或者ToF成像。
圖 7 – 全局快門圖像傳感器相元
Teledyne e2v專利技術(shù)，基于T5 像素，在交替線上的定時(shí)生成以實(shí)現(xiàn)低至約10納秒的Δt。 這意味著時(shí)間分辨率的巨大改進(jìn)。Teledyne e2v的130萬(wàn)像素CMOS圖像傳感器具有高靈敏度/低噪聲，包括多積分或“堆積”模式。 此外，還需要pinned光電二極管和存儲(chǔ)寄存器具有高寄生光靈敏度比（PLS），也稱作消光比，來(lái)降低場(chǎng)景產(chǎn)生的背景噪聲以生成銳利的圖像。這是通過(guò)降低相機(jī)快門“關(guān)”期間產(chǎn)生的寄生光或者叫砸光來(lái)實(shí)現(xiàn)的。
圖8 – 具有時(shí)序和同步電路的5T像素CMOS傳感器需要足夠的消光比來(lái)降低背景噪聲
Teledyne e2v BORA 圖像傳感器 – --引領(lǐng)藝術(shù)級(jí)130萬(wàn)像素Time-of-Flight （簡(jiǎn)稱TOF）
Teledyne e2v 新一代TOF130萬(wàn)像素圖像傳感器，取名BORA，電子全局快門，在多積分模式進(jìn)行優(yōu)化，所以在短距離和范圍內(nèi)低光環(huán)境下檢測(cè)性能優(yōu)越；
此TOF CMOS芯片，3D位深130萬(wàn)像素，1英寸光學(xué)尺寸，與第一代TOF 一樣致力于工業(yè)應(yīng)用中取得更多信息和更高精度。
表3 – Teledyne e2v ToF演示系統(tǒng)對(duì)比表
4. 結(jié)論
為提高工業(yè)系統(tǒng)的有效性和自主性，用于引導(dǎo)機(jī)器人和機(jī)器的視覺系統(tǒng)需求正在增長(zhǎng); 一些應(yīng)用需要3D視覺（物體識(shí)別，精度）。這些技術(shù)也很苛刻，需要具有復(fù)雜特征的高性能傳感器。
Teledyne e2v為工業(yè)市場(chǎng)提供廣泛的獨(dú)特3D視覺解決方案，，如工廠自動(dòng)化，物流，計(jì)量應(yīng)用程序等。 我們?cè)诟咝阅蹸MOS圖像傳感器方面的獨(dú)特專長(zhǎng)， 不僅提供標(biāo)準(zhǔn)3D方案，也提供定制服務(wù)，能夠在日/夜操作條件下從快速移動(dòng)的物體獲得3D精確檢測(cè)，從而克服當(dāng)前3D視覺的挑戰(zhàn)。
