4. 기계 학습 - 신경망

퍼셉트론

: 학습가능한 신경망 모델.

다수의 값을 입력받아 하나의 값으로 출력하는 알고리즘.

w는 가중치.

가중치가 클수록 입력값이 중요하다는 것을 의미.

 

가중합 s를 임계값 세타와 비교하는 활성화 함수를 거쳐 최종 출력값을 결정한다.

 

cf. 활성화 함수: 퍼셉트론의 출력값을 결정하는 비선형 함수. 

출력할지 말지를 결정하고, 출력한다면 어떤 값으로 출력할지 결정하는 함수.

가중합이 0보다 작을 경우 -1을 출력, 0보다 클 경우 1을 출력

 

 

 

단층 퍼셉트론

: 은닉층 없이 입력층과 출력층만 있는 경우.

AND,NAND,OR 연산은 선 하나로 구분할 수 있지만,

-> 선형 분리가능 문제

OR연산

 

 

XOR 연산은 선 하나로 구분할 수 없다.

-> 선형 분리불가 문제

-> 비선형 영역은 표현 불가

XOR연산

 

 

 

다층 퍼셉트론(multilayer perceptron,MLP)

: 여러개의 퍼셉트론을 층 구조로 구성한 신경망 모델

-> 비선형 영역도 이제 표현 가능

Nand와 OR을 AND로 묶어서 XOR 표현 가능

 

 

 

다층 퍼셉트론의 동작

• 단층 퍼셉트론과 달리 은닉층이 존재.
• 단층 퍼셉트론은 출력층에만 활성화 함수가 존재.
  다층 퍼셉트론은 은닉층과 출력층에 활성화 함수가 존재.

 

 

다층 퍼셉트론의 목표

: 출력값과 f(입력값)의 차이=오차가 최소가 되도록

가중치 w를 결정하는 것.

 

목표를 이루기 위해

• 최대경사법(경사하강법) 사용
• 오차(오류) 역전파 알고리즘 사용
• 계단모양 활성화 함수를 미분가능한 시그모이드 함수로 대체

 

 

경사 하강법

•  출력값과 기대값 간의 차이를 최소가 되도록 가중치를 변경하는 것.
• 출력값과 기대값의 차이를 손실함수로 만들어 미분을 한 후
  기울기를 구해, 기울기가 낮은 쪽으로 계속 이동시켜 최소가 되는 점을 찾는 것.
• local minimum에 빠질 수 있다.

 

 

Softmax 층

: 최종 출력을 분류 확률로 변환하는 층

-> 출력의 합=1

 

 

최대 가능도 추정

: 데이터의 가능도를 최대로 하는 파라미터를 추정하는 것

전체 데이터에 대한 가능도

 

이 값을 최대로 하는 w(가중치값)을 찾는 것이 목표다.

 

 

RBF 망

RBF함수

: 기존 벡터와 입력벡터의 유사도를 측정하는 함수

 

RBF망

: 어떤 함수 f(x)를 RBF 함수들의 선형 결합 형태로 근사시키는 모델