기울기2 도함수란 기울기란? 도함수란? 도함수는 기울기와 같은 의미이다. 기울기는 도함수의 개념을 쉽게 말한 개념이라고 생각하면 된다고 한다. 미분의 의미란 특정 지점에서의 기울기이다. 기울기를 좀 더 명확히 정의하자면 삼각형의 높이를 밑변으로 나눈 값이다. 아래 예시를 들어 이해를 해보도록 하자. a가 만약 2라고 가정한다면 f(a)=3a이니 f(a)=6이 된다. 그렇다면 a의 값을 살짝 밀어 a가 2.001이라고 해보자. 이제는 f(a)는 세배를 곱한 6.003이 되게 된다. 즉 f(a)는 0.003이 증가하게 된다 a는 오른쪽으로 0.001을 올린 것에 비해 위로는 3배가 늘어난다는 의미는 f(a)=3a 함수에서 기울기,도함수는 3이라는 것이다. 이는 a가 어떤 값일 때도 f(a)의 기울기가 3이기 때문에 이렇게 표현을 할 .. 2022. 5. 3. 경사하강법(Gradient Descent)이란? 경사하강법(Gradient Descent)이란 무엇일까? 신경망의 학습을 위해선 손실을 줄여나가야 하는데 이때 손실함수 J가 함수의 미분값을 계산하고 있을때 기울기가 완만해질수 있도록 (즉 경사가 낮아지는) 가중치를 변경하는 방법이다. 간단하게 말해 함수의 기울기를 이용하여 함수 값이 낮아지는 방향으로 독립 변수의 값을 변형시켜가면서 최종적으로 최소 함수 값을 갖도록 하는 독립 변수의 값을 찾는 방법이다. 좋은 예시로 시야가 안보일때 산에서 내려오기 위하여 산의 기울기를 더듬으며 가장 아래로 갈 수 있는 방향을 찾는 방법이 예시이다. 산에서 내려가기 위해 오르막길을 선택하지는 않을 것이기 때문이다. *gradient를 한글로 번역하면 기울기이다. 왜, 언제 경사하강법을 사용할까? 함수의 최솟값을 찾기 위.. 2022. 4. 29. 이전 1 다음
