ToF(Time of Flight, 사물 거리 측정 기술)

 

ToF 시스템 설계의 핵심 고려사항_1부: 시스템 개요

이 글은 ToF(Time of Flight, 사물 거리 측정 기술) 시스템 설계에 관한 연재 기사의 1부로서, 연속파(CW) CMOS ToF 카메라 시스템 기술에 대한 개요와 이 기술이 머신 비전 애플리케이션에서 기존 3D 이미징 솔루션과 비교할 때 어떤 이점들이 있는지 설명한다. 2부에서는 이 시스템을 구성하는 각각의 요소에 대해 자세히 살펴본다. 여기에는 조명 서브시스템, 광학계, 전원 관리, 심도 프로세싱(depth processing) 등이 포함된다.

사진 삭제

사진 설명을 입력하세요.

머리말

오늘날 많은 머신 비전 애플리케이션들이 표준 2D 이미징을 대체 또는 보완하기 위해 고해상 3D 심도 이미지를 필요로 한다. 3D 카메라를 기반으로 하는 이들 솔루션은 신뢰할 수 있는 심도 정보를 제공해 안전성을 높일 수 있다. 특히 기계와 사람이 서로 가까운 거리에서 작동하는 환경에서 그렇다. 이런 카메라들은 넓은 공간에 반사가 심한 표면과 움직이는 물체들이 존재하는 까다로운 환경에서 동작하면서도 신뢰할 수 있는 심도 정보를 제공해야 한다. 현재 많은 제품이 해상도가 낮은 레인지 파인더(거리계) 타입의 솔루션을 사용해 2D 이미징을 보완하기 위한 심도 정보를 제공한다.

하지만 이런 방식은 여러 가지 제약이 따른다. 현재 고해상 3D 심도 정보를 필요로 하는 애플리케이션용으로 출시된 솔루션 중 가장 성능이 우수한 것이 ‘CW CMOS ToF 카메라’다. [표 1]은 고해상 CW ToF 센서 기술의 특징을 요약한 것이다. 이런 특성들은 보케 기능(video bokeh), 얼굴 인증, 측정 애플리케이션 같은 컨슈머 활용 사례뿐 아니라 운전자 주의력 모니터링이나 차내 자동 설정 같은 자동차 활용 사례에 적용할 수 있다.

• 0열 선택0열 다음에 열 추가
• 1열 선택1열 다음에 열 추가

• 0행 선택0행 다음에 행 추가
• 1행 선택1행 다음에 행 추가
• 2행 선택2행 다음에 행 추가
• 3행 선택3행 다음에 행 추가
• 4행 선택4행 다음에 행 추가
• 5행 선택5행 다음에 행 추가
• 6행 선택6행 다음에 행 추가

셀 전체 선택

열 너비 조절

행 높이 조절

시스템 특징	가능하게 하는 요인
심도 정밀도와 정확도	• 변조 주파수 • 변조 방식과 심도 프로세싱
동적 범위	• 리드아웃 잡음 • 미가공 프레임 레이트
사용 편의성	• 캘리브레이션 • 온도 보상 • 시력 보호 모니터링
실외 동작	• 940㎚ 파장 감도 • 조사 전력과 효율
2D/3D 융합	• 픽셀 크기 • 심도 및 2D IR 이미지
다중시스템 동작	• 픽셀 내 간섭 광 제거 • 카메라 동기화

• 셀 병합
• 행 분할
• 열 분할
• 너비 맞춤
• 삭제

▲ [표 1] 연속파(CW) ToF 시스템의 특징

 

‘CW CMOS ToF 카메라’의 개요

심도 카메라는 각 픽셀이 카메라와 대상 장면 사이의 거리를 출력한다. 심도를 측정하는 기법 중 하나는 카메라의 광원에서 방출된 빛이 물체의 표면에 반사된 후 다시 카메라로 돌아오기까지 걸리는 시간을 계산하는 것이다. 이 시간을 일반적으로 ToF(time of flight)라고 한다.

사진 삭제

▲ [그림 1] 연속파(CW) ToF 센서 기술의 개요

ToF 카메라는 다음과 같은 요소들로 이루어진다([그림 1] 참조).

▶광원: 수직 공진 표면 발광 레이저(VCSEL)나 엣지 발광 레이저 다이오드(EELD)가 근적외선 대역으로 빛을 방출한다. 가장 널리 사용되는 파장은 850㎚와 940㎚이다. 광원은 통상적으로 확산 광원(플러드 조사)으로, 특정한 발산각(Field of Illumination, FOI)으로 광 빔을 방출해 카메라 전방의 대상 장면으로 빛을 조사한다.

▶레이저 드라이버: 광원에서 방출되는 빛의 세기를 변조한다.

▶픽셀 어레이를 탑재한 센서: 전방의 대상 장면으로부터 되돌아오는 빛을 수집하고, 각 픽셀로 값을 출력한다.

▶렌즈: 되돌아오는 빛을 센서 어레이로 모은다.

▶대역통과 필터: 렌즈와 함께 작동해 광원의 파장을 중심으로 한 좁은 대역폭 바깥의 성분들을 필터링한다.

▶프로세싱 알고리즘: 센서로부터 출력된 미가공 프레임을 심도 이미지나 점군(point cloud)으로 변환한다.

 

ToF 카메라에 다양한 방법을 적용해 빛을 변조할 수 있다. 단순한 방법은 연속파 변조를 사용하는 것이다. 예를 들어 구형파(square wave) 변조에 50% 듀티 사이클을 사용할 수 있다. 현실적으로 레이저 파형은 완벽한 구형파는 될 수 없으며, 정현파(sign wave)에 가까워 보일 수 있다. 레이저 파형이 구형파이면 특정한 광 출력으로 더 우수한 신호대 잡음비가 가능하나, 고주파수 고조파 성분으로 인해 심도 비선형성 오차를 야기할 수 있다.

CW ToF 카메라는 방출된 신호와 되돌아오는 신호의 기본 주파수 사이에 위상 오프셋 ϕ = 2πftd를 계산해 두 신호 사이의 시간 차이 td를 측정한다. 그런 다음에 위상 오프셋(ϕ)과 빛의 속도(c)를 사용해 다음과 같은 공식으로 심도를 계산할 수 있다.

사진 삭제

▲ fmod는 변조 주파수

센서의 클럭 생성 회로는 각 전하 저장 소자들(탭 A와 탭 B)로 광 전하가 누적되는 것을 제어하는 상보성 픽셀 클럭들과 레이저 드라이버로 제공되는 레이저 변조 신호를 제어한다. 픽셀 클럭의 위상을 기준으로 되돌아오는 변조된 광의 위상을 측정할 수 있다([그림 1]의 오른쪽). 픽셀에서 탭 A와 탭 B의 전하 차이는 되돌아오는 변조된 광의 세기와 되돌아오는 변조된 광의 위상에 따라서 비례한다.

호모다인 검출 원리를 적용하면 픽셀 클럭과 레이저 변조 신호 사이의 여러 상대적 위상을 사용해 측정할 수 있다. 이들 측정값을 취합해 되돌아오는 변조된 광 신호로 기본 주파수의 위상을 계산할 수 있다. 이 위상을 알면 광원에서 방출된 빛이 관찰하고자 하는 물체에 반사돼 다시 센서 픽셀로 돌아오기까지 걸린 시간을 계산할 수 있다.

 

높은 변조 주파수의 이점

실제로는 광자 샷 잡음, 리드아웃 회로 잡음, 다중경로 간섭 등의 요인들로 인해 위상 측정에 오차가 생길 수 있다. 높은 변조 주파수를 사용하면 이런 오차 요인들이 심도 계산에 미치는 영향을 낮출 수 있다. 이해를 돕기 위해 간단한 예를 들어 살펴보자. 위상 오차가 ϵϕ이면 센서에서 측정되는 위상은 ϕ = ϕ + ϵϕ이다. 그러면 심도 오차는 다음과 같다.

사진 삭제

▲ 심도 오차는 변조 주파수 fmod에 반비례한다

[그림 2]는 이것을 그래픽으로 나타낸 것이다. 이 간단한 공식은 높은 변조 주파수를 사용하는 ToF 카메라가 낮은 변조 주파수를 사용하는 ToF 카메라에 비해 심도 잡음과 심도 오차가 낮은지를 설명해준다.

사진 삭제

▲ [그림 2] 위상 오차가 거리 계산에 미치는 영향

높은 변조 주파수를 사용할 때 한 가지 단점은 위상이 더 빠르기 때문에 명확하게 측정할 수 있는 거리가 짧아진다는 것이다. 이 한계점을 극복하기 위해 흔히 사용되는 방법이 서로 다른 비율로 주변을 감싸는 여러 변조 주파수를 사용하는 것이다. 그러면 가장 낮은 변조 주파수로는 명확히 측정할 수 있는 거리는 길되 심도 오차가 클 것이고(잡음, 다중경로 간섭 등), 보다 높은 변조 주파수들을 함께 사용하면 이 심도 오차를 낮출 수 있다.

[그림 3]은 이 방법으로 3개의 변조 주파수를 사용한 사례를 보여준다. 최종적인 심도 계산은 서로 다른 변조 주파수들로 위상 연속화 계산에 대해 가중치를 부여할 수 있다. 더 높은 변조 주파수일수록 더 높은 가중치를 부여한다.

사진 삭제

▲ [그림 3] 다중 주파수 위상 연속화

각 주파수에 적절한 가중치를 부여했을 때, 심도 잡음은 시스템에 선택된 변조 주파수들의 제곱 평균 제곱근(root mean square, RMS)에 반비례한다. 심도 잡음이 일정할 경우, 변조 주파수를 높이면 적분 시간이나 조사 출력을 낮출 수 있다.

 

성능을 위해 중요한 시스템 요소들

고성능 ToF 카메라를 개발할 때는 시스템 차원에서 다음과 같은 요소들을 고려해야 한다.

 

이미지 센서

이미지 센서는 ToF 카메라를 구성하는 핵심 부품이다. 시스템의 평균 변조 주파수를 높이면 심도 계산에 있어 오차를 일으키는 요인들(바이어스, 심도 잡음, 다중경로 아티팩트 등)의 영향을 낮출 수 있다. 그러므로 센서가 높은 변조 주파수(수백 ㎒)에서 복조 콘트라스트(탭 A와 탭 B 사이에 광전자를 구분할 수 있는 능력)가 높아야 한다.

또한 센서가 근적외선 파장(850㎚와 940㎚)에서 양자 효율(QE)이 높아야 한다. 그래야 픽셀에 광전자를 발생하는 데 필요한 광 출력이 더 적어진다. 리드아웃 잡음이 낮으면 낮은 수준의 리턴 신호(멀리 떨어져 있거나 반사도가 낮은 물체)를 검출할 수 있어 카메라의 동적 범위와 관련해 도움이 된다.

 

조명 서브시스템

레이저 드라이버는 광원(VCSEL 등)을 높은 변조 주파수로 변조한다. 픽셀에서 특정한 광 출력으로 이용할 수 있는 신호의 양을 극대화하기 위해서는 광학적 파형이 상승 시간과 하강 시간이 빠르고 엣지가 깔끔해야 한다. 그러기 위해서는 조명 서브시스템에서 레이저, 레이저 드라이버, PCB 레이아웃 모두가 중요한 역할을 한다.

또한 변조 파형의 푸리에 변환에서 기본 주파수의 진폭을 극대화하기 위해 최적의 광 전력과 듀티 사이클 설정을 알아내기 위한 특성 분석도 필요하다. 이와 함께 클래스 1 시력 안전 한계를 항상 충족하도록 레이저 드라이버뿐 아니라 시스템 차원에서도 안전 메커니즘을 포함시키고, 광 출력을 안전한 방식으로 제공해야 한다.

 

광학계

광학계 역시 ToF 카메라에서 중요한 역할을 한다. ToF 카메라 고유의 특성들을 충족하기 위해서는 특수한 광학계가 요구된다. 효율을 극대화하기 위해 광원의 조사각이 렌즈의 시야각과 맞아야 한다. 우수한 광 수집 효율을 위해서는 렌즈 자체가 조리개가 커야 한다(낮은 f/#). 대신에 조리개가 크면 비네팅(vignetting), 얕은 심도, 렌즈 설계 복잡성과 관련해 불리해질 수 있다.

또한 주광선 각도(CRA)가 낮은 렌즈 제품은 대역통과 필터 대역폭을 낮출 수 있다. 그러면 주변 빛 제거 능력을 향상시킬 수 있어 야외에서 작동할 때 성능을 향상시킨다. 처리량 효율을 극대화하고 잡광을 최소화하기 위해서는 반사 방지 코팅, 대역통과 필터 설계, 렌즈 설계 등 광학 서브시스템을 원하는 동작 파장에 대해 최적화할 필요가 있다. 광학적 정렬이 최종 애플리케이션에 이상적인 공차 내에 있도록 하기 위해 많은 기계적 처리가 필요할 수 있다.

 

전원 관리

고성능 3D ToF 카메라 모듈 설계에서 중요한 또 다른 요소가 전원 관리다. 레이저 변조와 픽셀 변조가 짧은 버스트로 높은 수준의 피크 전류를 발생시키는데, 이는 전원 관리 솔루션에 부담을 줄 수 있다. 센서 IC 차원에서 몇몇 기능을 사용해 이미저의 피크 전력 소모를 낮출 수 있다. 시스템 차원에서도 전원 관리 기법들을 적용해 전원(배터리, USB 등)에 대한 요구 사항들을 완화할 수 있다. ToF 이미저용 메인 아날로그 전원을 위해서는 과도 응답 특성이 우수하고, 잡음이 낮은 레귤레이터가 필요하다.

사진 삭제

▲ [그림 4] 광학 시스템 아키텍처

 

심도 프로세싱 알고리즘

시스템 레벨 설계의 또 다른 중요한 요소는 심도 프로세싱 알고리즘이다. ToF 이미지 센서는 미가공 픽셀 데이터를 출력하는데, 이로부터 위상 정보를 추출해야 한다. 그러기 위해서는 잡음 필터링과 위상 연속화(phase unwrapping)를 포함해 여러 단계의 작업이 필요하다. 위상 연속화 블록의 출력은 레이저에서 방출된 빛이 대상에 부딪혀 반사돼 픽셀로 되돌아오기까지의 거리를 측정한 값이다. 이 거리를 방사상 거리(radial distance)라고 한다.

일반적으로 이 방사상 거리를 점군 정보로 변환한다. 다시 말해 특정 픽셀의 정보를 좌표(X, Y, Z)로 나타낸 것이다. 대부분 최종 애플리케이션에서 이 전체적인 점군이 아니라 Z 이미지 맵(심도 맵)만을 사용한다. 방사상 거리를 점군으로 변환하기 위해서는 렌즈 특성과 왜곡 파라미터를 알아야 한다. 이런 파라미터들은 카메라 모듈의 기하학적 캘리브레이션을 할 때 사용된다.

심도 프로세싱 알고리즘은 명암 이미지(리턴 레이저 신호의 진폭), 패시브 2D IR 이미지, 신뢰도 같은 다른 정보들도 출력할 수 있다. 최종 애플리케이션에서 이 모든 정보들을 사용할 수 있다. 심도 프로세싱은 카메라 모듈 자체에서 할 수도 있고, 또는 시스템상의 다른 곳에 있는 호스트 프로세서에서 할 수도 있다.

[표 2]에는 이런 시스템 구성 요소들을 요약해 정리했다. 2부에서는 이들 각각의 주제에 대해 살펴볼 것이다.

• 0열 선택0열 다음에 열 추가
• 1열 선택1열 다음에 열 추가

• 0행 선택0행 다음에 행 추가
• 1행 선택1행 다음에 행 추가
• 2행 선택2행 다음에 행 추가
• 3행 선택3행 다음에 행 추가
• 4행 선택4행 다음에 행 추가
• 5행 선택5행 다음에 행 추가

셀 전체 선택

열 너비 조절

행 높이 조절

시스템 레벨 구성 요소	특징
ToF 이미저	분해능, 높은 복조 콘트라스트, 높은 양자 효율, 높은 변조 주파수, 낮은 리드아웃 잡음
광원	높은 광 출력, 높은 변조 주파수, 시력 보호 기능
광학계	높은 광 수집 효율, 최소한의 잡광, 좁은 대역폭
전원 관리	낮은 잡음, 우수한 과도 응답, 높은 효율, 높은 피크 전력 제공
심도 프로세싱	저전력, 다양한 타입의 출력 심도 정보 지원

 

▲ [표 2] 3D ToF 카메라의 시스템 레벨 구성 요소

 

맺음말

연속파 ToF 카메라는 높은 심도 정밀도를 제공하는 강력한 솔루션으로서, 고품질 3D 정보를 필요로 하는 애플리케이션용으로 적합하다. 이 시스템의 성능을 극대화하기 위해서는 많은 것들을 고려해야 한다. 이미지 센서 차원에서는 변조 주파수, 복조 콘트라스트, 양자 효율, 리드아웃 잡음 같은 요소들이 성능에 영향을 미친다. 시스템 차원의 요소들 또한 고려해야 한다. 여기에는 조명 서브시스템, 광학 설계, 전원 관리, 심도 프로세싱 알고리즘이 포함된다. 이 모든 요소들이 정밀도가 극히 우수한 3D ToF 카메라 시스템을 달성하는 데 있어 중요한 역할을 한다.

 

ToF 시스템 설계의 핵심 고려사항_2부: ToF 심도 센싱 카메라의 광학계 설계

광학계는 ToF(Time of Flight, 사물 거리 측정 기술) 심도 센싱 카메라에서 중요한 역할을 하며, 광학적 설계는 최종 시스템의 복잡성과 성능을 결정한다. 3D ToF 카메라는 광학적으로 특수한 요구들을 충족해야 한다. 이 글에서는 심도 센싱 광학 시스템 아키텍처에 대해서 살펴보고, 각각의 모듈을 최적화해 센서와 시스템 성능을 향상시킬 수 있는 방법에 대해 알아본다.

ToF는 최근 급부상하고 있는 3D 센싱 및 이미징 기술로서 자율주행차, 가상 현실(VR), 증강 현실(AR), 물체 식별, 물체 크기 감지 같은 다양한 애플리케이션에 도입되고 있다. ToF 카메라는 광원으로부터 방출된 빛이 장면 내의 물체에 반사돼 픽셀 어레이로 되돌아오기까지 걸리는 시간을 측정하는 방법으로 심도 이미지를 포착한다.

아나로그디바이스(ADI)의 ADSD3100 후면 조사(BSI) CMOS 센서는 연속파(CW) 변조라고 하는 간접 ToF 센싱 기법을 채택하고 있다. CW ToF 카메라는 진폭 변조 광원으로부터 방출된 빛이 카메라 시야각(FOV) 내의 물체에 반사돼 되돌아올 때 방출 파형과 반사 파형 사이의 위상 차이를 측정한다. 여러 변조 주파수에서 이 위상 차이를 측정해 각 픽셀에 대한 심도 값을 계산할 수 있다. 픽셀내 광자 혼합 변조를 사용해 서로 다른 상대적 지연시간에서 방출 파형과 수신 파형 사이의 상관관계를 측정해 위상 차이를 구한다. [그림 1]은 CW ToF의 개념도를 나타낸다.

▲ [그림 1] ToF 기술의 개념도

 

심도 센싱을 위한 광학 시스템 아키텍처

[그림 2]는 광학 시스템 아키텍처를 보여준다. 이 아키텍처는 크게 두 부분의 모듈로 구성된다. 이미징 모듈(수신기 Rx)과 조명 모듈(송신기 Tx)이다. 이제 각 모듈의 기능, ToF 시스템의 특수한 요구, 설계 사례를 살펴보자.

 

조명 모듈

조명 모듈은 광원, 광원을 높은 변조 주파수로 구동하는 드라이버, 광원으로부터 지정된 FOI(field of illumination)로, 광 빔을 발산하는 발산기(diffuser)로 이루어진다[그림 2].

▲ [그림 2] ToF 광학 시스템 아키텍처

 

광원과 드라이버

ToF 모듈은 통상적으로 대역이 좁고 파장이 온도에 대한 영향이 낮은 광원을 사용한다. 수직 공동 표면 발광 레이저(VCSEL)와 측면 발광 레이저(EEL)가 주로 많이 사용된다. LED는 ToF 변조 요구를 충족하기엔 너무 느리다. VCSEL이 낮은 가격대, 사이즈, 신뢰성 측면에서 유리한 점을 앞세워 갈수록 인기를 얻고 있으며, ToF 모듈에 통합하기도 쉽다.

EEL(측면 방출)이나 LED(측면과 윗면 방출)와 비교하면, VCSEL은 표면에 대해 직각으로 빔을 방출해 제조 시 수율이 우수하고 제조 비용도 더 낮다. 뿐만 아니라 잘 설계된 발산각 및 광학 프로파일과 함께 단일 발산기를 사용해 원하는 FOI를 달성할 수 있다. 우수한 변조 콘트라스트와 광 출력을 달성하기 위해서는 레이저 드라이버를 최적화하는 것뿐 아니라 PCB와 광원의 전기적 설계와 레이아웃이 중요하다.

 

조명 파장(850㎚ 대 940㎚)

ToF의 동작 원리는 파장의 영향을 받지 않으므로(오히려 빛의 속도에 영향을 받음) 파장이 정확도에 별로 영향을 미치지 않는다. 하지만 일부 활용 사례의 경우, 어떤 파장을 선택하느냐가 시스템 차원에서 성능에 영향을 미칠 수 있다. 따라서 파장을 선택할 때 다음과 같은 요소들을 고려해야 한다.

①센서 양자 효율과 감응도(responsivity)

양자 효율(QE)과 감응도(R)는 상호 연관적이다.

QE는 광검출기가 광자를 전자로 변환하는 능력을, R은 광검출기가 광 출력을 전기 전류로 변환하는 능력을 나타낸다.

 

▲ 이 공식에서 q는 전자 전하, h는 플랑크 상수, c는 빛의 속도, λ는 파장이다

통상적으로 실리콘 기반 센서의 QE는 940㎚에서보다 850㎚에서 2배 이상 더 우수하다. ADI의 CW ToF 센서는 850㎚에서 44% QE와 940㎚에서 27% QE를 갖는다. 동일한 양의 조사 광 출력일 경우, QE와 R이 높을수록 신호대 잡음비(SNR)가 우수하다. 센서로 되돌아오는 빛의 양이 많지 않을 때는 특히 더 그렇다(물체가 멀리 떨어져 있거나 반사도가 낮은 경우).

 

②사람의 지각

사람의 시각은 근적외선(NIR) 파장 대역에서 둔감한데, 850㎚의 빛은 사람의 눈이 감지할 수 있지만 940㎚는 감지하지 않는다.

 

③햇빛

태양광 방사는 가시 대역에서 최대이며, NIR 대역에서도 에너지가 상당하다. 햇빛(일반적으로 주변 광)은 심도 잡음을 증가시키고, ToF 카메라의 범위를 낮출 수 있다. 다행히 대기층 흡수에 의해서 920~960㎚까지 대역에서는 햇빛의 세기가 감소한다. 이 대역에서 햇빛의 세기는 850㎚ 대역에 비하면 절반에 못 미친다[그림 3]. 따라서 실외 애플리케이션에서는 ToF 시스템을 940㎚에서 작동함으로써 주변 광에 대한 내성을 높이고, 더 우수한 심도 센싱 성능을 달성할 수 있다.

▲ [그림 3] NIR 대역에서 햇빛의 세기

 

방사 강도(입체각으로 광 출력)

광원은 발산기에 의해 생성된 FOI 범위 내의 3D 공간 속으로 분산되는 일정한 광 출력을 발생한다. FOI가 증가할수록 스테라디안(sr)당 유지되는 에너지, 즉 방사 강도(W/sr)는 감소한다. 그러므로 FOI와 방사 강도의 절충적 관계와 이것이 어떻게 ToF 시스템의 SNR과 심도 범위에 영향을 미치는지 이해해야 한다. [표 1]은 60° x 45° FOI의 방사 강도로 정규화했을 때 FOI와 그에 따른 방사 강도를 보여준다. 방사 강도는 직사각형 입체각당 광 출력으로 계산된다.

번호	수평 FOI	수직 FOI	정규화한 방사 강도
1	60°	45°	100%
2	52°	52°	100%
3	60°	60°	76%
4	72°	58°	67%
5	78°	65°	56%

▲ [표 1] 정규화한 방사 강도

 

조명 프로파일

조명 프로파일을 정의하기 위해서는 프로파일 형태와 폭, 광학 효율(특정 FOV 내에 포함되는 에너지), FOI를 벗어난 광 출력 드롭오프 등을 명확하게 해야 한다. 조명 프로파일은 각 공간에서의 방사 강도로 정의할 수 있다. 수학적으로는 다음과 같이 표현된다.

▲ 이 공식에서 dΦ는 입체각 dΩ으로 방출되는 출력이다. FOI는 이미저의 종횡비와 맞아야 하기 때문에 통상적으로 정방형이나 직사각형이다

 

①FOI 내에서 조명 프로파일 형태

ToF 면발광으로 가장 널리 사용되는 방사 강도 프로파일은 박쥐 날개 모양(batwing) 형태다. 이 경우에는 프로파일을 cos-n(θ)로 변화시켜 이미징 렌즈의 드롭오프(상대 조도)를 보상한다. [그림 5]는 박쥐 날개 모양 조명 프로파일의 예를 보여준다. 만약 평평한 표적으로부터 이미저의 픽셀 어레이로 일정한 방사 조도를 달성하고자 한다면, 표적 중심과 표적 가장자리 사이에 방사 조도(E)에서 cos3(θ) 드롭오프 계수(W/㎡)도 고려해야 한다. 이것은 다음과 같이 정의할 수 있다.

▲ 이 공식에서 E는 방사 조도, dA는 광 출력 dΦ가 조사되는 표면적, R(θ)는 [그림 4]에서 보는 것과 같이 광원과 dA 사이의 거리, 그리고 dΩ = dAcos(θ)/R(θ)2이다

 

▲ [그림 4] 강도에 따른 방사 조도 분포

 

▲ [그림 5] 조명 프로파일 예시

 

②프로파일의 폭

프로파일의 폭은 조명 프로파일의 FOI를 결정한다. 이 폭은 반치전폭(full width half max) 혹은 최대 강도의 1/e2로 정의할 수 있다. 이미저의 이미징 렌즈와 발산기 공차 사이의 불일치를 수용하기 위해 FOI를 렌즈의 FOV보다 약간 크게 설계하는 것이 일반적이다. 그럼으로써 다크 픽셀을 피할 수 있다.

프로파일의 폭은 광원의 강도 프로파일과 평행빔에 대한 발산기 응답의 합성곱으로 나타낸다. 발산기에 대한 입력 발산각이 넓을수록 폭이 더 넓고 전이 기울기는 느려진다. 폭이 더 넓고 전이 기울기가 느리면 더 많은 에너지가 FOI를 벗어나며, 이는 광 출력 손실을 유발한다. 이 손실에 대한 허용 기준은 다음과 같은 두 가지 요구를 고려해 결정할 수 있다.

 

·광 효율 – 이미징 렌즈의 FOV 내에 포함되는 에너지

이 수치는 얼마나 많은 에너지가 이미징 모듈에 수신되는지를 나타내며, 다음과 같은 공식으로 나타낼 수 있다.

[그림 5]의 (c)는 FOV 내에서 조명 프로파일의 2차원 개념도를 보여준다.

 

·FOI를 벗어나는 광 출력 드롭오프

광원과 발산기 사이에 콜리메이터 렌즈를 사용해 발산기의 입력 각도를 낮출 수 있으며, 또는 발산각이 작은 광원을 선택함으로써 광학 효율을 높일 수 있다.

 

이미징 모듈

이미징 모듈은 이미징 렌즈 어셈블리, 대역통과 필터(BPF), 이미저 마이크로렌즈 어레이로 이루어진다. 이미저 위의 후면 광학 스택의 두께와 소재는 후방 반사가 낮도록 최적화해야 한다. [그림 6]은 이미징 모듈을 보여준다.

▲ [그림 6] 이미징 모듈

 

ToF 이미징 렌즈의 설계 고려사항

ToF 카메라는 능동 조명을 사용해서 발생된 빛을 수집하므로, 픽셀 어레이 상에 빛을 수집할 때의 효율과 균일성이 전반적인 성능에 크게 영향을 미친다. 렌즈는 수집력이 강하고, 투과율이 높고, 잡광이 낮아야 한다. ToF 렌즈는 전통적인 RGB 카메라 렌즈와는 다르게 다음과 같은 요소들을 고려해야 한다.

①광 수집 효율

광 수집 효율은 1/(f/#)2에 비례한다. 여기서 f/# = (초점 거리)/(구경 크기)이다. f/#이 낮을수록 효율이 우수하다. 하지만 f/#이 낮은 광학 시스템은 나름의 단점들을 갖는다. 구경 크기가 클수록 비네팅(vignetting)과 수차(aberration)가 심해진다. 그러면 광학계를 설계하기가 까다로워진다. f/#이 낮은 시스템은 또 장면에 대한 심도가 얕다.

 

②상대 조도(RI)와 주광선 각도(CRA)

RI는 다음과 같이 정의할 수 있다.

왜곡과 비네팅을 일으키지 않는 렌즈 시스템에서, 센서 조도는 (cos q)4의 비율로 약해진다. 여기서 q는 센서 면 상의 CRA 입사각이다. 따라서 센서 가장자리로 갈수록 이미지가 상대적으로 어두워진다. 렌즈 시스템에 네거티브 왜곡(negative distortion)을 도입하면 이처럼 방사 조도가 약해지는 것을 줄일 수 있다.

 

센서 가장자리에서의 최대 CRA는 이미저 마이크로렌즈 어레이 사양을 기반으로 최적화해야 한다. CRA가 낮으면 BPF의 대역폭을 좁힐 수 있으며 주변 광 내성을 좋게 할 수 있다.

아래에서 설명하는 예들은 CRA와 초점 광 콘 크기(유효 f/#)가 RI에 어떤 영향을 미치는지 잘 보여준다. [그림 7]에서 [사례 1]의 렌즈 시스템은 CRA가 크고, 필드 각이 높아지는 것에 따라 이미징 콘이 점차적으로 감소한다(그러므로 f/# 증가). 그 결과, RI 플롯에서 보듯이 필드 각에 따라 RI가 크게 감소한다. [그림 7]의 [사례 2]에서는 CRA를 최소화하고 필드로 f/#를 균일하게 해 RI를 잘 유지할 수 있다는 것을 알 수 있다.

 

▲ [그림 7] 상대 조도 사례

 

③잡광

잡광은 시스템 내의 의도하지 않은 빛이 센서에 검출되는 것이다. 잡광은 필드 소스로부터 유입될 수 있으며, 짝수 개의 반사를 통해 고스트 이미지를 형성한다(렌즈 플레어 등). 잡광은 광학-기계적 구조와 임의의 산란 표면으로부터 발생할 수도 있다. ToF 시스템은 잡광에 특히 민감하다. 잡광의 멀티패스 특성이 픽셀에 여러 광학적 경로를 발생시키고, 그럼으로써 심도 측정에 부정확성을 유발할 수 있다.

따라서 설계할 때부터 잡광을 줄이기 위한 조치를 취해야 한다. 이런 방법들에는 반사 방지(AR) 코팅과 기계적 구경 최적화, 렌즈 가장자리와 탑재 구조물을 어둡게 하는 것, 맞춤화된 BPF를 사용해 파장과 CRA를 최적화하는 것을 들 수 있다. 다음은 시스템에서 잡광에 영향을 줄 수 있는 몇 가지 항목들이다.

 

·비네팅

이상적이라면 ToF 렌즈 시스템에 어떤 비네팅도 없어야 한다. 비네팅은 이미지 품질을 높이기 위한 기법으로 일부러 사용하기도 하는데, 이미징 광선을 차단함으로써 가장자리의 밝기를 어둡게 한다. 이렇게 차단된 광선이 렌즈 시스템 안에서 다시 튀어 잡광 문제를 일으킬 수 있다.

 

·AR 코팅

광학 부품에 AR 코팅을 적용하면, 각 표면의 반사를 줄일 수 있으며 렌즈 반사가 심도 계산에 미치는 영향을 효과적으로 낮출 수 있다. 광원의 파장 대역과 렌즈 표면에서 입사각의 각도 범위를 고려해 AR 코팅을 신중하게 설계해야 한다.

 

·렌즈 수

더 많은 렌즈를 추가함으로써 수월하게 설계 사양을 달성하고, 해상도 측면에서 우수한 이미지 품질을 달성할 수 있다. 대신 이 방법은 불가피하게 렌즈로부터 후방 산란을 증가시키고 복잡성과 비용을 증가시킨다.

 

·대역통과 필터(BPF)

BPF는 주변 광 성분을 차단하기 위한 것으로, ToF 시스템에 꼭 필요하다. 최상의 성능을 달성하기 위해서는 BPF 설계에 ▲f/#와 CRA 같은 렌즈 파라미터 ▲대역폭, 공칭 파장 허용오차, 열 이동 같은 광원 파라미터를 최적화해야 한다. 또한 서브스트레이트 소재 특성이 파장에 대해 입사각 드리프트가 낮거나, 열 드리프트가 낮아야 한다.

 

④마이크로렌즈 어레이

ToF 후면 조사(BSI) 센서는 마이크로렌즈 어레이를 사용해 이미지 센서에 입사하는 광선을 수렴하고, 픽셀 변조 영역에 도달하는 광자의 수를 극대화한다. 마이크로렌즈의 구조를 최적화해 광자를 전자로 변환하는 픽셀 영역으로 흡수를 극대화할 수 있다.

많은 렌즈 설계에서 이미지 높이가 센서 가장자리 쪽을 향해 높아질수록 렌즈의 CRA가 증가한다[그림 8]. CRA가 너무 크면 이런 경사 입사가 픽셀에서의 흡수 손실과 인접 픽셀들 간의 누화로 이어진다. 그러므로 렌즈의 CRA가 마이크로렌즈 어레이 사양과 일치하도록 이미징 렌즈를 설계하거나 선택해야 한다. ADI의 ToF 센서인 ADSD3100에 알맞은 CRA는 센서의 수평 및 수직 가장자리에서 약 12°다.

▲ [그림 8] 이미징 렌즈의 최대 CRA

 

맺음말

ToF 광학계는 최상의 성능을 달성하기 위해 고유의 요구 조건들을 충족해야 한다. 이 글에서는 3D ToF 카메라의 광학 아키텍처를 살펴보고, 이런 광학 시스템을 구성하는 조명 모듈과 이미징 모듈을 어떻게 설계하고 선택해야 할지 알아봤다.

조명 서브 모듈의 경우, 전력 효율 및 신뢰성과 함께 광원을 높은 변조 주파수와 높은 변조 콘트라스트로 구동하는 능력이 중요하게 요구된다. 850㎚와 940㎚ 파장을 선택하는 것과 조명 프로파일을 설계하는 것에 대해서도 살펴봤다. 이미징 서브 모듈의 경우, 최상의 성능을 달성하기 위해서는 렌즈 설계에 f/#, 마이크로렌즈 사양에 맞는 CRA, 잡광 제어를 중요하게 고려해야 한다.

 

 

(출처:http://www.epnc.co.kr/news/articleView.html?idxno=216040)