[2023-2] 김경훈 - Finding Tiny Faces

 

 

 

원본 논문 링크 : https://arxiv.org/abs/1612.04402

Finding Tiny Faces

 

 

---

 

0. Introduction

 

객체 탐지 기술은 컴퓨터 비전과 이미지 처리 분야에서 중요한 위치를 차지하며, 특히 디지털 이미지나 비디오에서 특정 객체를 식별하는 데 사용됩니다. 2017년 컴퓨터 비전 및 패턴 인식 회의(CVPR)에서 발표된 'Finding Tiny Faces' 논문은 이 분야에서 특히 작은 얼굴을 탐지하는 데 초점을 맞춘 연구입니다.

이 연구는 작은 얼굴을 탐지하기 위한 다양한 방법론을 제안합니다. 하나는 이미지 내에서 다양한 크기의 얼굴을 탐지할 수 있도록 설계된 특정 템플릿을 사용하는 것입니다. 이는 이미지를 다양한 크기로 조정하고 각 크기에 맞는 템플릿을 적용하여 작은 얼굴을 식별하는 방식입니다. 또 다른 방법으로는 이미지의 다양한 부분에서 얼굴을 탐지할 수 있는 기존의 방식(SSD, YOLO 등)과 비교하여 이미지 피라미드와 앵커 박스의 크기 조합을 통해 향상된 결과를 제시합니다. 이와 함께, 이미지 내에서 작은 얼굴을 더욱 정확히 식별하기 위해 네트워크의 여러 레이어에서 추출된 특징을 종합하는 방식을 사용합니다.

이 논문은 작은 얼굴 탐지에 있어 주변 정보의 중요성을 강조하며, 이를 위해 다양한 크기의 바운딩 박스를 사용하여 작은 얼굴 주변의 맥락을 파악하고 이를 탐지 과정에 활용합니다. 또한, 얼굴의 크기에 따라 탐지 성능이 달라짐을 보여주며, 이에 대한 해결책으로 다양한 크기의 이미지를 생성하고 이를 통합하는 방식을 제안합니다. 이러한 접근 방식은 작은 얼굴뿐만 아니라 다양한 크기의 얼굴을 효과적으로 탐지할 수 있는 모델을 구축하는 데 기여합니다.

 

1. Method Overview

 

객체 탐지 기술에 대한 새로운 연구인 'Finding Tiny Faces'는 컴퓨터 비전 분야에서 상대적으로 간과되기 쉬운 작은 얼굴을 탐지하는 데 특화된 다섯 가지 방법론을 소개합니다.

 

 

 

첨부된 이미지에 표시된 각 항목은 위 설명된 기술들을 나타냅니다. (a)는 전통적인 단일 스케일 템플릿과 세밀하게 구분된 이미지 피라미드 방식을, (b)는 이미지 스케일에 따른 다양한 검출기를 사용한 이전 연구들의 방식을 나타냅니다. (c), (d), (e)는 각각 새롭게 제안된 기술들로, 드문 객체 스케일에 적합한 간략화된 이미지 피라미드, 맥락 기반 탐지, 그리고 깊은 모델의 여러 레이어에서 추출된 특징을 활용한 템플릿입니다. 이 기술들은 각기 다른 크기의 얼굴을 효과적으로 탐지하기 위한 새로운 접근법을 보여줍니다.

 

 

 

 

 

첫 번째 방법은 기존의 이미지 내에서 일정한 크기의 얼굴을 식별하는 표준 템플릿을 설정하고, 그에 따라 이미지 피라미드를 구성하여 해당 얼굴을 찾아내는 과정입니다. 이는 원본 이미지의 크기를 단계적으로 줄이면서, 각각의 템플릿에 맞는 얼굴을 매칭하여 탐지하는 전통적인 접근방식입니다.

 

다음으로, SSD나 YOLO와 같이 이미지 내 다양한 스케일에 존재하는 얼굴을 탐지할 수 있는 현대적 기법을 사용합니다. 이는 이미지의 다른 부분에서 다양한 크기의 얼굴을 찾아내는 기능을 향상시킵니다.

 

세 번째로 제안되는 기법은 대상 객체의 드문 스케일에 맞춰 최적화된 검출기의 수를 조정하는 것으로, 일반적인 크기의 얼굴뿐만 아니라 매우 작거나 큰 얼굴도 효율적으로 탐지할 수 있습니다.

 

네 번째 방법은 특정 스케일에 대한 템플릿을 적용하면서, 맥락 정보를 반영한 탐지를 수행하여, 얼굴의 크기와 무관하게 일관된 탐지 성능을 제공합니다.

 

마지막으로, 네트워크의 여러 레이어에서 추출된 특징을 활용하는 템플릿을 사용하는 방법은, 네트워크의 앞단부터의 특징들을 취합하여 작은 얼굴 탐지의 정확도를 높이는 방법입니다.

 

 

 

2. Analysis

 

Context information to find small faces

아래의 그림에서 왼쪽 위의 그림은 작은 얼굴을 아래는 큰 얼굴을 갖는 그림이다. 그리고 초록색은 작은 바운딩 박스를 파란색은 얼굴에 맞는 세배 비율의 박스를 노란색은 fixed-size로 얼굴에 상관없이 300필셀로 구분을 한다.

아래 오른쪽 그림은 얼굴 사이즈가 다를 때의 결과인데, context를 반영한 것이 결과가 더 좋다는 것을 반영하고 있는 그림이다. 이 성능의 차이가 사이즈가 작아질수록 fixed-size가 훨씬 좋음을 알 수 있다.

 

 

아래 그림에서, face size를 두고 receptive field가 커질수록 정확도가 높아지는 경향이 있음을 알 수 있다.

 

Foveal descriptor using multiple layers in a deep network

하나의 피쳐만 사용하는 것이 아니라, ResNet skip-connector처럼 앞쪽 레이어의 피쳐를 더했을 때 성능이 더 좋아지는 것을 확인할 수 있다. 특히 res3-4까지는 비슷하나 res5까지 가서 비교를 했을 때 확연한 차이가 있고 작은 얼굴을 탐지할 때 월등한 성능 향상이 있음을 확인할 수 있다. 그래서 논문에서는 Context information을 위해서 무조건 마지막 레이어에서만 결과를 출력하는 것은 반드시 좋은 결과를 나타내지 않는다고 주장한다.

 

Image scale

얼굴의 크기에 따라서 객체 탐지의 성능이 달라지는데, 그렇다면 얼굴을 탐지하기 위해서 가장 좋은 패치 사이즈는 얼마인지를 고민하게 된다.

아래 오른쪽 그림에서 작은 얼굴은 사이즈를 2배 키웠을 때 약 10% 정도의 성능 향상을 가지고, 큰 얼굴은 사이즈를 2배 줄였을 때 약 5% 정도의 성능 향상을 가지고 있다. 즉 무조건 얼굴 사이즈가 크다고 성능 향상과 직결되지는 않는다고 주장한다. 그래서 논문 저자들은 객체의 크기보다 크기들의 분포에 이슈가 있다고 말한다.

아래 왼쪽 그림에서처럼, 너무 작은 사이즈나 큰 사이즈는 샘플 수가 부족해서 탐지가 안되는 것이라 주장을 한다.

그렇다면 어떻게 사이즈가 다른 객체들을 크기에 상관없이 잘 탐지할 수 있을까? 

 

 

 

 

3. Proposed Method

논문에서는, CNN 모델을 특정한 객체 사이즈에 맞춰 학습하는 방법을 제시하게 된다.

입력 영상이 주어졌을 때, 기존 영상과 2배 키운 영상과 2배 줄인 영상인 3가지의 피라미드를 만들고 end-to-end로 학습을 진행한다. 그리고 기존의 영상에서는 중간 정도의 객체를 2배 키운 영상에서는 작은 객체를 반으로 줄인 영상에서는 큰 객체를 추출을 한다. 즉 바운딩 박스의 필셀 크기로 로스를 정의하고 탐지를 한다. 그리고 추출된 객체들을 합치고 NMS를 통해 최종 출력을 하게 된다.

 

결과를 보면 반으로 줄인 사이즈에서는 큰 얼굴의 탐지가 잘 되고, 2배로 키운 사이즈는 큰 얼굴은 탐지가 잘 되지 않고 작은 얼굴일수록 탐지가 잘 되는 것을 볼 수 있다.

영상의 사이즈별로 탐지를 잘하는 영역이 다르기에, 잘 하는 영역에 맞게 최종 출력물의 모델을 다르게 써서 문제를 해결한다. 그래서 모든 사이즈들을 모두 합쳐서 출력을 내면 Full Model이고, 2가지를 합친 Model이나 하나의 Model도 사용할 수 있다. 아래의 오른쪽 그림은 그것에 대한 결과물이다. 데이터셋과 그 결과물을 보면서 해당 데이터셋에 맞는 모델을 선정하면 될 것이다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

---

 

 

 

 

 

 

 

KH 참고링크 : https://blog.naver.com/kgh9080/223344944687

[논문리뷰] Finding Tiny Faces