분산과 편향?

데이터를 토대로 정답을 하나 맞추기 위해서 컴퓨터가 여러 번의 예측값을 내놓는데 이러한 동태를 묘사하는 표현이 편향과 분산이다.

머신러닝에서 편향과 분산은 모델의 loss나 error를 의미하기에 정리를 하고 넘어가려 한다. 

편향

편향(bias)의 사전적의미로는 한쪽으로의 치우침이다. 인공지능을 다루는 분야에서 무슨 편향이 있냐
생각이 들 수 있지만 인공지능을 위해 제공하는 데이터의 주체가 인간이기에 어쩔 수 없이 인공지능에서도 편향이 나타나게 된다. 

 

 

분산

• 어떤 대상의 흩어진 정도나 상태를 의미한다.
• 편차들의 제곱한 값의 평균이다.

 

분산과 편향을 나타내는 이미지

 

위의 사진에서 빨간 중간 과녁은 사람이 컴퓨터에게 정해놓은 정답(target)이며 파란 점들은 컴퓨터가 예측한 값(추정값)이다.

여기서 편향(bias)는 target과 추정 값들의 차이를 의미하고 분산(variance)는 추정값들의 흩어진 정도를 의미한다.

추정값들과 정답이 대체로 멀리 떨어져 있다면 결과의 편향이 높다고 말하고

추정값들과 정답들이 흩어져 있으며 결과의 분산이 높다고 말한다.

우리는 직관적으로 편향과 분산이 적은 첫번째 과녁이 좋은 모델인것을 알 수 있으며 

 

 

 

 

https://opentutorials.org/module/3653/22071

https://modulabs-biomedical.github.io/Bias_vs_Variance