활성화함수2 소프트맥스(Softmax) 함수란? 딥 러닝을 이해하기 위해서는 다양한 회귀를 이해할 필요가 있다고 한다. 이번에는 출력층에서 자주 사용되는 활성화 함수인 소프트맥스 회귀에 대해 공부해보고자한다. 우선 소프트 맥스에 대해 알기전에 기본적인 선형회귀와 로지스틱 회귀의 개념에 대해 살짝 정리하고 진행해보자. (더보기 클릭) 더보기 선형 회귀(Linear Regression) 다른 변수의 값을 변하게 하는 독립변수 x와, x에 의해 변하게 되는 종속변수 y가 있다고 가정하자. y=wx+b의 경우에는 단순 선형회귀라 한다. y=w1x1+w2x2 .....+b의 경우에는 다중 선형 회귀라고 한다. 단순 선형의 예로는 오래 걸으면 살이 빠진다. 다중 선형의 예로는 집 가격은 지하철역, 극장, 치안, 학군 등에 관련 되어 있다. 로지스틱 회귀(Logi.. 2022. 5. 15. 퍼셉트론(Perceptron)과 활성화 함수(Activation Function)란? 딥러닝의 시작이라고 할 수 있는 퍼셉트론에 대해 알아보자. 생물이 무엇을 인식할때 어떻게 진행되는가?라는 아이디어를 컴퓨터에 응용한 이론이 퍼셉트론이다 퍼셉트론을 관통하는 이미지는 아래와 같다. 퍼셉트론(Perceptron)이란? 1957년에 프랑크 로젠블라트가 고안한 알고리즘으로 딥러닝(신경망)의 기본 단위이다. 다수의 신호를 입력을 받아 하나의 신호로 출력한다 위 그림과 같이 두 개의 노드(X1,X2)이 있을때 두 노드의 *가중치(w1,w2)만큼을 곱하여 그 조합의 합이 *임계값을 넘었을 경우 1을 출력하고 그렇지 않을 경우 0을 출력하는 것을 의미한다. 더보기 * 가중치(weight): 입력데이터의 중요도 * 편향(bias): 노드를 어떻게 활성화 할지 여부를 조절하는 역할 혹은 영향 * 임계값(c.. 2022. 4. 27. 이전 1 다음
