1. KNN과 로지스틱 회귀 성능 비교

    KNN은 참조 데이터를 그대로 가지고만 있고 훈련을 통해 모델을 생성하지 않기 때문에 훈련 단계가 매우 빠르게 일어난다. 따라서 수치 기반 데이터(선형 모형) 분류 작업에서 성능이 우수하다. 하지만 KNN은 데이터가 많아지면 분류단계가 느려진다. → 로지스틱 회귀가 빠름

    로지스틱 회귀는 선형적인 것만 분석가능하지만, KNN은 비선형적적인 것도 가능 그렇지만 KNN은 레이블을 단순히 가지고만 있고, 로지스틱 회귀는 예측값에 대한 신뢰수준을 도출할 수 있음

    https://towardsdatascience.com/comparative-study-on-classic-machine-learning-algorithms-24f9ff6ab222

  2. KNN과 선형회귀 비교

    선형회귀가 성능이 더 좋음

    KNN: 모델을 학습해 예측하는 것이 아니라 학습 데이터가 있는 가운데 새로운 객체가 주어지면 그 데이터의 특성(X)과 유사한 학습 데이터 객체들을 찾아 정답(Y)를 예측하는 방법을 사용

    선형회귀: 1차 함수 형태의 선형 모델 가정

    KNN은 데이터 차원(변수)가 많아질 수록 오차가 커짐 , 데이터 지역구조에 민감

  3. 선형회귀와 로지스틱 회귀 비교

<선형회귀>

일차 함수(연속형 변수)

베타값 추정 OLS

베타값의 정확한 해가 존재

<로지스틱>

시그모이드 함수 (이진형 -범주 변수)

베타값 추정: MLE 최대우도 추정법

베타값에 대한 정확한 해를 찾을 수 없음