K-NN (K-Nearest Neighbor)

K-NN의 개념은 직관적이다. K-NN Regression이란 가까운 K개의 점들의 평균 값을 구하여 값을 도출하는 회귀 방법이고, K-NN Classification은 가까운 K개의 점들이 A라는 classification이 많으면 A로 분류되는 방식이다. K-NN classifier는 지금도 많이 사용하고 있다고 한다.

여기서 K란 근처의 data 중 몇 개를 참조할 것인지를 결정하는 hyperparameter이다. 또한 근처라는 개념을 정의할 수 있는 거리는 일반적으로 점 사이의 거리를 구할 때 사용되는 유클리드 거리(Euclidean Distance)가 사용된다. 그 외에도 격자 무늬로 간 거리를 계산하는 맨해튼 거리(Manhatten Distance) 방식도 있다.

K-NN은 query가 들어오기 전까지(정보를 요청하기 전까지) 아무것도 하지 않는 lazy method라고 한다. 왤까? 사실 머신러닝에서 예를 들어 decision tree의 경우 주어진 data가 들어오면 식을 만들고, 계수를 계산하여 tree를 구축한다. 하지만 k-NN은 사전에 data를 가지고 어떠한 행위도 하지 않는다는 점에서 lazy method로 불린다.

 

Reference

https://bkshin.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-6-K-%EC%B5%9C%EA%B7%BC%EC%A0%91%EC%9D%B4%EC%9B%83KNN?category=1057680 

머신러닝 - 6. K-최근접 이웃(KNN)