[VSLAM]카메라 센서의 구조

카메라

빛을 정확하게 받아오는 카메라가 좋은 카메라이다

Steps to capture light

포토 다이오드 센서를 통해 빛을 받아들이고 발생한 전압을 통해 디지털 신호로 변환한다

Light -> Color filter -> Photodiode -> Voltage/Current -> Analog to digital convertor

 

이후 들어온 Intergrated Signal Processor(ISP)에서 원본 데이터 RAW 파일을 sRGB scale로 변환한다

사진사들의 작업 파이프라인으로

카메라에 들어오는 광량을 조절한 후 이미지 센서에 들어오는 값을 저장한다

이후 후보정을 통해 원하는 이미지를 만들 수 있다

 

카메라 내부 파이프라인으로

렌즈에 빛이 들어오면 센서를 통해 디지털 신호 값을 받아온다

이후 ISO gain 값을 조절하여 raw 이미지를 처리한다

이후 RGB 값으로 변환하여 노이즈를 제거한다

각종 이미지 파라미터를 조절한 후 sRGB 로 매핑하여 jpeg 등의 확장자로 저장된다

다양한 카메라 종류

RGB camera

SLAM 과정에서 컬러 카메라가 필요하진 않다

하지만 컬러 카메라가 더욱 많이 사용되고 있어서 그에 따른 알고리즘을 사용한다

또한 딥러닝 등을 사용할 경우 RGB 데이터가 필요하기 때문에 사용된다 

 

컬러 카메라의 단점은 

bayer pattern 을 풀어주는 모자이킹 과정에서 

센서들 사이 값을 interpolation 으로 채우기 때문에 중간 값이 날라갈 수 있다

결과 이미지에서 흐리고 어둡게 나타난다

 

Monochrome camera

흑백 카메라는 컬러 카메라와 동일한 센서를 가지만

컬러를 위한 bayer pattern이 없다

스펙트럼 전부를 받을 수 있기 때문에 노이즈가 적다 

또한 매우 밝게 나타낼 수 있다

 

컬러 이미지를 동일한 밝기로 올리기 위해서는 

ISO 값을 조절해야 하지만 그만큼 노이즈도 많이 추가된다

 

Multi/Hyperspectral camera

더 많은 컬러 채널을 받을 수 있다

보통 채널인 RGB보다 10개 정도의 채널로 받을 수 있다

그 이상으로도 200개 까지 받을 수 있다

 

 

Infra-red camera

위의 스펙트럼 카메라에서 추가된 카메라로

적외선을 감지한다

교량에서 크랙 등을 감지할 수 있다

야간이나 화재 현장 등에서도 SLAM을 진행할 수 있다

 

Polarized camera

반사 방지를 위한 카메라로

편광 필터로 반사광을 막을 수 있다

 

반사빛은 소프트웨어로 막을 수 없기 때문에 

하드웨어에서 막을 필요가 있다

 

Event camera

픽셀의 밝기 변화가 있을 때 신호를 감지하는 카메라이다

이벤트가 발생할 때만 데이터를 수집하기 때문에 

기존 카메라보다 훨씬 더 빠르게 동작할 수 있다

약 1초에 100만 번 신호를 감지할 수 있다

좋은 카메라 고르는 방법

구성 요소

카메라는

물리적인 빛 신호를 디지털 신호로 변환하는 이미지 센서와

빛을 모아주는 렌즈로 구성되어 있다

 

둘 다 중요하다

 

카메라 고려 요소

Sensor type

CCD: High dynamic range 센서로 센서가 크고, 노이즈가 적고 글로벌 셔터이다

CMOS: 소형화된 센서에서 사용하는 구조, 저전력이나 롤링 셔터이다 

 

Shutter type

Global shutter: 스냅샷으로 사진을 찍는다

Rolling shutter: 움직이면 픽셀이 밀릴 수 있다, 움직임이 많은 SLAM에서는 사용하기 어렵다 

 

Lens

Spatial resolution(공간 분해능)

렌즈의 분해 능력

공간을 잘 쪼개서 저장할 수 있는 능력이다

왼쪽이 공간 분해능이 높으며 이미지가 깔끔하게 저장된다

MTF 차트

렌즈 회사에서 제공하는 데이터 차트

차트의 x축은 특정 공간에서 반복되는 패턴의 수

높을 수록 물체가 작아지므로 더 세세한 패턴이 나타난다

 

y축은 대비를 의미한다

높을 수록 구분이 잘 된다