[인공지능] 컨볼루션과 푸리에 해석: 딥러닝이 패턴을 찾는 원리

CNN은 이미지, 음성 등 반복되는 패턴(주기성)이 있는 데이터를 처리하기 위해 고안되었으며, 컨볼루션과 푸리에 해석은 이 패턴을 추출하는 두 가지 핵심적인 도구입니다. 

CNN과 컨볼루션 : 데이터의 순서를 활용하는 법

CNN의 합성곱(Convolution) 연산은 데이터를 지역적으로 (Locally) 분석하며, 데이터가 가진 공간적/시간적 순서를 보존하고 활용하는 역할을 합니다. 

FC 레이어의 한계 극복(구조 보존)

FC(Fully Connected)레이어는 입력 데이터를 1차원으로 Flatten(평탄화)하여 인접성(지역성)이라는 중요한 구조적 정보를 파괴합니다.

• 컨볼루션의 역할 : CNN은 필터(커널)를 사용하여 입력 데이터(f) 위를 훑으며 인접한 부분만(패치)을 분석합니다. 이로써 시간적 순서나 공간적 인접성이 유지된 채로 특징이 추출됩니다. 

컨볼루션의 수학적 성격 : 선형 시불변 필터

합성곱은 수학적으로 선형 시불변(LSI) 시스템으로 해석됩니다. 이를 쉽게 이해하면 다음과 같습니다. 

• 선형 필터 : 입력이 두 배 커지면 출력도 두 배 커지는 예측 가능한 반응을 합니다. 
• 시불변 (Shift-Invariant) / 등변성(Equivariance)
  • 패턴의 위치가 바뀌어도 똑같이 반응한다. 
    • 만약 필터가 이미지 왼쪽 상단에서 고양이의 귀 패턴을 감지했다면, 그 귀가 이미지 오른쪽 하단으로 옮겨가도 동일한 필터와 동일한 가중치로 다시 귀 패턴을 감지할 수 있습니다. 
    • 이것이 가중치 공유의 핵심이며, CNN이 위치 변화에 강한 이유입니다. 

---

푸리에 해석 : 주기성을 주파수로 분해하는 도구

푸리에 변환은 모든 복잡한 파동/패턴은 단순한 사인파(Sine Wave) 들의 합으로 분해될 수 있다는 원리입니다. 

주파수와 패턴의 관계

푸리에 변환은 시간/공간 영역의 신호를 주파수 영역으로 바꿔줍니다. 여기서 주파수는 패턴의 반복 속도(주기성)를 의미합니다. 

• 저주파 성분 : 패턴의 반복 속도가 느린 것. 이미지에서는 전체적인 윤곽이나 밝기 변화를 의미합니다. 
• 고주파 성분 : 패턴의 반복 속도가 빠른 것. 이미지에서는 예리한 에지(Edge, 경계선)나 미세한 텍스처를 의미합니다. 

음성처리에서의 활용(스펙트로그램)

음성 신호를 푸리에 변환하면 주파수(Hz) 정보를 얻습니다. 이 주파수 정보는 음성 인식에서 어떤 소리(음소)인지를 파악하는 핵심 특징이 됩니다. 

• 음성 파형을 푸리에 변환하여 시간-주파수 평면인 스펙트로그램으로 변환합니다. 
• CNN은 2차원 스펙트로그램을 입력으로 받아, 시간의 순서와 주파수의 패턴을 동시에 분석합니다. 

특성 추출의 핵심 : 컨볼루션은 주파수 필터링이다.

가장 중요한 연결고리는 합성곱 정리(Convolution Theorem)를 통해 드러납니다. 

$\mathcal{F}\{f * g\} = \mathcal{F}\{f\} \cdot \mathcal{F}\{g\}$

 

이 정리는 CNN의 합성곱 연산이 주파수 영역에서의 단순 곱셈과 같음을 의미합니다. 

특성 추출 = 주파수 필터링

1. 커널의 역할 : CNN이 학습한 필터(커널,g)는 푸리에 변환을 통해 주파수 응답($H(\omega)$)을 가집니다. 
2. 선택적 추출 : 이 주파수 응답은 어떤 주파수 성분(패턴)을 강조하고, 어떤 주파수 성분(잡음)을 억제할지 결정하는 게이트(필터) 역할을 합니다. 
3. 예시 
   1. 에지 검출 커널 : 고주파 성분을 강조합니다.(고역 통과 필터)
   2. 블러링 커널 : 저주파 성분만 통과시킵니다. (저역 통과 필터)

따라서 CNN 학습은 데이터의 패턴을 가장 잘 설명하는 특정 주파수 대역을 선택적으로 통과시키는 필터(커털)를 찾는 과정입니다. 

 

최종 정리 : CNN은 두 가지를 모두 한다. 

원리	목적	핵심 개념
컨볼루션	데이터의 순서/구조 보존	선형 시불변(LSI), 등변성(Equivariance), 가중치 공유
푸리에 해석	데이터 속 반복 패턴(주기성) 분석	주파수 필터링, 합성곱 정리, 스펙트로그램

 

결론적으로 CNN은 컨볼루션을 통해 지역적인 순서를 보존하면서, 푸리에 해석 원리에 따라 그 순서 속에서 나타나는 주기적인 패턴(주파수 특징)을 효율적으로 추출하여 복잡한 패턴 인식을 수행합니다.