소프트맥스(Softmax) 함수란?

딥 러닝을 이해하기 위해서는 다양한 회귀를 이해할 필요가 있다고 한다.

이번에는 출력층에서 자주 사용되는 활성화 함수인 소프트맥스 회귀에 대해 공부해보고자한다.

우선 소프트 맥스에 대해 알기전에 기본적인 선형회귀와 로지스틱 회귀의 개념에 대해 살짝 정리하고 진행해보자.
(더보기 클릭)

선형 회귀(Linear Regression)

• 다른 변수의 값을 변하게 하는 독립변수 x와, x에 의해 변하게 되는 종속변수 y가 있다고 가정하자.
• y=wx+b의 경우에는 단순 선형회귀라 한다.
• y=w1x1+w2x2 .....+b의 경우에는 다중 선형 회귀라고 한다.
• 단순 선형의 예로는 오래 걸으면 살이 빠진다.
• 다중 선형의 예로는 집 가격은 지하철역, 극장, 치안, 학군 등에 관련 되어 있다.

로지스틱 회귀(Logistic Regression)

• 일반적인 회귀 분석을 구체적인 함수를 통해 예측에 활용하기 위한 회귀법이다.
• 일반적으로 종속변수가 이항 또는 다항인 경우를 쓸때 사용된다.
• 이항형 로지스틱은 0과 1사이의 값으로 나뉘어 지며 조건부 확률의 분포가 이항 분포를 따른다.

소프트맥스 회귀(Softmax Regression)

• 로지스틱 회귀에서는 이항의 선택지 중에서 1가지를 고르는 이진 분류를 선택했지만, 소프트맥스 회귀에서는 3개 이상의 선택지 중에서 1개를 고르는 다중 클래스 분류를 다룬다
• 소프트맥스 함수는 선택지의 개수가 N개라고 할 때, N차원의 벡터를 입력받아 모든 벡터 원소의 값을 0과 1사이의 값으로 변경하여 다시 N차원의 벡터를 반환하여 각 클래스에 속할 확률을 추정한다.
• 아래의 예시를 보고 이해해보자.