Untitled

AB형이 더미변수

→baseline

X = M-1개 변수, 1개는 baseline

Untitled

A: 공부 시간과 점수를 측정한 산점도

→공부 시간이 증가할수록 점수가 선형적으로 증가

B: 일정점수를 기준으로 합격과 불합격을 분리시킨 결과에 대한 산점도

위의 '합격', '불합격'과 같이 결과가 두가지로 나오는 변수를 이진형(binary) 변수라고 함

연속형(세부적인 수체)보다는 이진형의 판단결과를 중시하는 경우 그 결과를 예측하기 위해 기존의 선형 회귀 방식을 적용하는데 무리가 있음 → b와 같이 새로운 방식의 모형이 해당 자료를 잘 설명할 것으로 예상됨

Untitled

선형회귀에서 어떠한 개념을 가져와서 로지스틱 회귀를 얘기할까?

→가능성

합격할 확률 (Y=1)

x가 1만큼 증가할때, 합격할 확률이 b1만큼 증가한다.

그치만, 로지스틱 회귀에 두가지 단점이 있음

  1. scale :수리적

    coverage가 되나?

    수학적 오류가 있음

    확률은 0과 1사이

    X는 -무한에서 +무한 사이

    (물론 회귀는 Y가 0,1 둘중 하나이기 때문에 그것보단 낫지만)

Untitled

  1. 강도(power): 해석적

Odds(승산)

  1. 기본 형태

Untitled

odds는 성공 확률(P)이 실패 확률보다 몇 배인지 판단할 수 있는 지표

예를들어 성공 확률이 0.5 (p = 0.5)인 경우 실패 확률 역시 0.5 (1 - p = 1 - 0.5 = 0.5)로 odds는 1이 되며, 만약 성공 확률이 0.8 (p = 0.8)인 경우 실패 확률은 0.2 (1 - p = 1 - 0.8 = 0.2)로 odds는 4가 된다.

Untitled

성공 확률 p는 확률값으로 0과 1 사이의 값으로 표현모형 좌측의 odds는 결국 0부터 ∞ 까지의 범위

반면, 우측의 선형 모형은 −∞ 부터 ∞ 까지 표현

→좌변과 우변의 범위가 일치되지 않음.

  1. Odds 범위의 확장(로지스틱 회귀의 완성)

Untitled

log함수는 0부터 ∞ 까지의 값을 정의역(진수)으로 사용하는 함수

odds가 표현할 수 있는 값이 딱 log함수의 정의역 범위와 일치한다. 또한 log함수의 치역은 −∞ 부터 ∞ 까지 표현되어 우리가 원하는 −∞ 까지 값이 확장될 수 있다.

→odds에 log를 취한 Log Odds를 종속변수로 활용한 모형이 로지스틱 회귀(Logistic Regression)

Untitled

이를 시그모이드(sigmoid) 함수라고 하며 이는 S자 함수가 된다.

Untitled

로지스틱 회귀에서 베타값을 추정하기 위해서 최대 우도 추정법을 사용함