시골촌놈

◎ MQTT 프로토콜이란?

- Message Queue TELEMETRY TRANSPORT

- 모바일, 스마트폰 기기, IoT 장비 등에 널리 사용되고 있음

- Broker Pattern 기반의 경량형 메시징 프로토콜

◎ Broker Pattern

- 원격 서비스 호출을 통해 상호작용하는 컴포넌트들을 분리하는 분산 소프트웨어 시스템 구조

- 다양한 MQTT용 브로커들이 이미 개발되어 있으며 아래의 링크를 통해 확인할 수 있음

- MQTT Broker List : https://github.com/mqtt/mqtt.org/wiki/servers

◎ MQTT 구조

- Broker : 데이터의 중계

- Publisher : 발행(publish)을 통해 데이터를 Broker로 전달

- Subscriber : 구독(subscribe)을 통해 Broker로 부터 데이터를 수신

◎ MQTT의 QoS

- 0단계 : 메시지 한번 전달, 수신과정 체크 없음

- 1단계 : 메시지 한번 이상 전달, 추적 없음, 중복 수신 가능성 있음

- 2단계 : 메시지 한번 전달, 핸드셰이킹 모든 과정 체크

- 단계의 상향에 따른 품질 향상이 있으나 속도의 저하 가능성이 있음

◎ MQTT 장점

- 단순하고 가벼운 프로토콜

- 메시지의 특성에 따른 QoS 선택 가능

- TLS/SSL 등의 암호화 지원

- 간편한 1:1, 1:N 통신 구축

◎ 검출 (Detection)
- 영상에서 대상을 찾는 것

◎ 인식 (Recognition)
- 대상이 무엇인지 식별하는 것

◎ 추적 (Tracking)
- 연속된 영상에서 대상의 위치변화를 추적하는 것

◎ 배경 제거 (Background subtraction)

○ 자동차가 없는 도로의 영상을 기반으로 도로 위의 움직이는 객체를 검출

○ 검출된 객체를 인지하는 과정이 없음 -> 자동차가 아닌 물체도 구분해낼수 없음

○ 배경의 변화에 매우 민감 (시간에 따른 밝기 변화, 카메라의 흔들림, 순간적인 밝기 변화 등)

○ 주로 배경 모델의 학습을 최근 n프레임 누적을 통해 생성하는데 해당 방법을 이용한 경우에는 장시간 움직이지 않는 차량을 검출하는데 문제가 있음.

◎ 특징 기반 탐색 (Feature based detection)

○ 생김새 정보인 feature를 이용한 차량 검출 방법

○ Hog feature가 차량 검출에 널리 사용됨

- HOG는 대상 영역을 일정 크기의 셀로 분할하고, 각 셀마다 edge 픽셀(gradient magnitude가 일정 값 이상인 픽셀)들의 방향에 대한 히스토그램을 구한 후 이들 히스토그램 bin 값들을 일렬로 연결한 벡터.

- 외곽선이 뚜렷하고 내부 패턴이 단순한 객체의 검출에 용이한 특징이며 템플릿 매칭이 주로 사용됨.

○ Sliding window를 이용한 탐색

- 일정 크기의 윈도우를 이미지 전체에 옮겨가며 hog를 이용하여 미리 학습된 분류기를 통한 차량 검출

- 단점 : 느리다!

○ 관심 영역 설정을 통한 탐색

- 배경학습 등을 통해 관심영역을 설정하고 해당 영역에 대해서만 분류기를 통한 분류 작업 진행

- 단점 : 관심영역 지정 실패 = 검출 실패!

◎ 스테레오 매칭

○ 서로 다른 시점의 두 장의 이미지로 부터 거리 정보를 추출.

○ 양쪽 이미지 사이의 대응되는 점이 차이나는 정도를 통해 거리 정보를 얻을 수 있음.

◎ 에피폴라 제약조건 (epipolar constraint)

○ 매칭 시간 감소.

○ 2d 이미지 대상의 검색을 1d 라인상의 검색으로 간소화.

◎ 매칭 (Matching)

○ 이미지 레티피케이션 (Image Rectification)

○ 에피폴라 라인을 따라 매칭

◎ 라인 매칭이 필요한 이유

○ 기존의 매칭 방법의 대부분은 local points 혹은 region feature 기반.

○ 이러한 매칭 방법들은 텍스쳐가 낮은 장면에서 성능이 떨어지는 경향이 있음.

○ 하지만 이러한 장면들도 충분한 Line feature들을 포함 할 수 있음.

◎ 라인 매칭을 위한 3가지 방법

○ 각각의 Line에 대한 개별적인 매칭.

○ Line segment들의 그룹에 대한 매칭.

- 해당 방법의 경우는 대부분 작은 베이스라인을 가지는 스테레오 이미지 쌍을 위한 경우.

- 더 넓은 범위의 조건에서의 성능은 충분히 검증되지 않음.

○ Point correspondences를 이용한 라인 매칭.

- 텍스쳐가 낮은, 충분한 point feature가 없는 씬에서의 매칭을 위한 연구를 진행하므로 해당사항 없음.

◎ Line detection for LBD

○ Scale space에서 라인을 검출.

○ 원본 이미지는 옥타브 이미지 세트를 생성하기 위해 다운샘플링.

○ 원본이미지의 동일한 영역에서 모든 옥타브에서 검출된 라인들만 LineVec로 이용.

◎ Line Support Region 설정

○ Descriptor은 line support region (LSR)을 기반으로 계산됨.

○ LSR은 여러개의 band로 구성되며 band의 두께는 균일, 길이는 라인 세그먼트와 동일하며 평행함.

◎ LBD의 구조

○ LBD는 단순한 BD(band descriptor)의 나열로 구성.

○ BD(band descriptor)의 구조.

○ BDBj로 부터 구한 평균 벡터 Mj와 표준 편차 벡터 Sj를 이용하여 LBD 구성.

☞ Reference

- An efficient and robust line segment matching approach based on LBD descriptor and pairwise geometric consistency.