Must Learning With Statistics

[강화학습 추천서] 심층 강화학습 인 액션

Doublek Park — Mon, 23 Nov 2020 01:22:59 +0900

모든 학문에는 끝판왕 분야가 있기 마련입니다. 개인적으로 통계학에서는 '베이지안 통계학'이 끝판왕이라고 생각하며, 인공지능 관련(머신러닝, 딥러닝)분야에서의 끝판왕은 '강화학습'이라고 생각합니다.

이런 끝판왕 학문들은 공통점이 있는데, 공부하기가 참 어렵다는 것입니다. 기본적으로 내용이 어려운 것도 있지만, 가장 중요한 것은 다양한 교육자료가 부족하기 떄문입니다. 우리는 엄청나게 많은 시간을 구글에서 설명자료를 찾는데 투자합니다. 목적은 최대한 쉽고 간단하게 설명한 포스팅을 찾기 위함입니다. 하지만 이 두 분야는 그러기가 참 쉽지 않습니다. 애초에 글들이 많이 안올라와 있는 것이 가장 큰 이유입니다. 올라와 있는 자료들도 어디선가 많이 본 자료들을 재탕 및 재활용하는 포스팅들을 심심치 않게 볼 수도 있기마련입니다.

베이지안 통계학에서의 핵심인 Sampling(Importance Sampling, Gibbs Sampling 등..) 기법들은 현대 기계학습과 딥러닝 분야에서 많이 사용되는 주제이기때문에 그래도 다양한 포스팅들을 볼 수 있는 것 같습니다. 하지만 강화학습은 그러지 못한 것이 현실입니다. 강화학습을 활용하는 프로젝트를 리딩하고 있는 저로써는 정말로 공부하기 어려운 주제 중 하나라고 매일매일 느끼고 있습니다.

출판사 '제이펍'에서 출판한 인공지능 관련 서적들

강화학습을 입문하는 사람들의 기본적인 진입 패턴은 아마도 다음과 같을 겁니다.

1. 리차드 S. 소튼의 [Introduction to Reinforcement Learning] 입문 혹은 David Silver의 강화학습 강의 영상(유튜브)

(Introduction to Reinforcement Learning은 현재 '단단한 강화학습'으로 변역이 되어 출간되었음)

2. 김성훈 교수님의 강화학습 강의 (유튜브)

3. 팡요랩의 강화학습 강의 (유튜브)

아마 이 안에서 강화학습 입문이 시작될 확률이 매우 높을 거라고 생각합니다. 사실 어떤 것부터 시작해도 똑같은 문제에 직면하기 마련입니다. 이유는 위 3가지의 교육자료는 동일한 Source를 기반으로 진행되었기 때문입니다. 강화학습을 구현 하면서 정말 어려운 것이, 예제는 이해하겠는데, 이걸 '실전'에 적용시킬 때는 완전히 다른 세계가 펼처지는 것이 정말 큰 어려움으로 다가옵니다.

이런 상황에서 우리는 다방면으로 강화학습을 적용시킨 사례들과 참고할 수 있는 코드를 공부할 수 있으면 좋은데, 구글에서는 'CartPole'예제를 뺴두고는 딱히 찾을 수가 없는 것이 현실입니다. 강화학습은 풀고자 하는 문제에 따라 정말 천지차이인데, 참고할만한 자료가 많이 부족한 것이 큰 문제입니다.

이 문제를 해결해줄만한 책이 이번에 제이펍에서 출판한 [심층 강화학습 인 액션]입니다.

심층 강화학습 인 액션 (제이펍)

보통의 강화학습 교육자료들은 강화학습의 근본이 되는 '마르코프 결정 프로세스' 및 '벨만 방정식'을 기준으로 빌드업을 합니다. 강화학습을 하는 입장에서 위 이론은 무조건 숙지하고 있어야하는 것이 맞지만 수리모형이 기본이 되는 책의 전개는 많은 독자들이 어려움을 겪게 되는 문제가 발생합니다. 이 책에서 추구하는 방향은 난이도를 낮추고자 하는 것에 있습니다.

수식을 활용한 전개보다는 사례와 비유를 통한 설명에 더 비중을 두고 있습니다. 또한 구글에서 보던 "그 자료"를 더이상 안 볼 수가 있습니다. 물론 Cart Pole예제를 사용하기는 하지만, 접근 방식을 더 심층적인 내용에서 쉽게 풀어쓴 것을 느낄 수가 있는 책이었습니다. 그렇기에 강화학습을 공부하기에 매우 훌륭한 책 중 하나라고 생각이 들었습니다.

나머지, 이 책의 장점 중 하나는 'Multi Agent'에 대한 설명이 포함이 되었다는 것입니다. 강화학습을 공부하고 연구하는 사람들의 최종목적지는 'Multi Agent'에 있습니다. 하지만 검색하면 뭐 나오는 것이 없습니다. (차라리 CartPole같은 중복 예제라도 나와줬으면 좋겠습니다.) 이 책은 이 부분을 다루고 있기에, 강화학습에 매우 큰 도움이 될 수가 있습니다.

저도 이 책을 읽으면서 제가 진행 중이고 연구중이던 프로젝트에서 잘 안풀리던 문제를 해결할 수 있는 하나의 돌파구를 찾은 것 같기에 매우 만족하고 있습니다. 계속 두고두고 참고하면서 읽을 것 같습니다. 매우 추천되는 책 중 하나입니다.

다만, 한가지 유의할점은 강화학습에 대한 지식이 0인 상태로 읽으면 많이 어려울 수도 있으며, DQN에 대한 기본 지식또한 필요하지 않을까라고 생각이 듭니다. 제가 '마르코프 의사결정 프로세스', '벨만 방정식' ,'DQN'등의 기본지식들은 있는 상황에서 책을 접했기에 큰 어려움은 없었으나, 만약 그러지 않으신 독자들에게는 책이 처음에 무슨 소리를 하는지 모를 수도 있을 것 같다라는 생각이 들었습니다. 쉽게 설명한 만큼, 수리적 이론과 증명 내용은 부족할 수도 있기 때문입니다.

아마, 다른 강화학습 책 혹은 Introduction to Reinforcement Learning의 번역본인 [단단한 강화학습] 책의 앞 부분에 해당하는 기본 내용들에 대해 학습을 하고 이 책을 접하시면 효율이 올라갈 것 같습니다.

이 책을 시작할 때는 저는 다음과 같다고 생각합니다.

- 마르코프 의사결정과 벨만 방정식을 숙지한 상황

- DQN, Actor-Critic 등에 대해서 들어는본 적이 있는 상황

이 정도에서 이 책을 접하시면 매우 큰 도움이 될 수 있을거라고 생각합니다.

[이 포스팅은 제이펍으로 부터 서평이벤트 당첨으로 작성되었습니다.]

의사결정나무 1 [CART]

Doublek Park — Thu, 23 Apr 2020 23:55:42 +0900

데이터마이닝-4장-의사결정나무.utf8

1. CART (Classification and Regression Tree)

의사결정나무는 정말 많은 분야에서 활용이 됩니다. 최근에는 의사결정나무가 아닌 다른 알고리즘들을 많이 활용한다 해도, 지금 당장 Google scholar에서 ‘Decision Tree’라고 검색을 하면 상당히 많은 최신 논문들이 검색이 되는 것을 확인할 수가 있습니다. 또한 의사결정나무는 보통 기계학습을 입문하시는 분들이 처음 접하시는 알고리즘이기도 합니다. 그렇기에 의사결정나무를 그냥 대충하고 넘어갈 수는 없습니다. 의사결정나무의 기본 컨셉은 알고리즘에 사용되는 Features에 대해 분리를 하는 것에서 시작합니다. 여러분들 모두 심리테스트 책을 보셨을 것이고, 거기서 ’당신은 OO에 해당하나요?’ 라는 질문에 대한 답을 한 적이 있을 것입니다. 의사결정나무는 이와 비슷한 과정으로 분류모형이 이루어진다고 생각하시면 됩니다. 그렇다면 Features를 분리한다는 개념은 어떤 것을 의미하는지 알아보도록 하겠습니다. R에서 기본으로 제공되는 Iris 데이터 셋과 함께 다루어보도록 하겠습니다.

Iris = iris
str(Iris)

'data.frame':   150 obs. of  5 variables:
 $ Sepal.Length: num  5.1 4.9 4.7 4.6 5 5.4 4.6 5 4.4 4.9 ...
 $ Sepal.Width : num  3.5 3 3.2 3.1 3.6 3.9 3.4 3.4 2.9 3.1 ...
 $ Petal.Length: num  1.4 1.4 1.3 1.5 1.4 1.7 1.4 1.5 1.4 1.5 ...
 $ Petal.Width : num  0.2 0.2 0.2 0.2 0.2 0.4 0.3 0.2 0.2 0.1 ...
 $ Species     : Factor w/ 3 levels "setosa","versicolor",..: 1 1 1 1 1 1 1 1 1 1 ...

Iris 데이터 셋은 유명하기에 데이터 셋에 대한 설명은 넘어가도록 하겠습니다. 우리의 목표는 꽃들의 특성에 따라 분류를 하는 의사결정 알고리즘을 만들고자 하는 것입니다. 일단 의사결정나무 알고리즘의 결과를 먼저 확인한 다음 내용을 다루어보도록 하겠습니다.

library(C50)
set.seed(123)
S = sample(1:nrow(Iris), nrow(Iris) * 0.7, replace = FALSE)
Train = Iris[S,]
Test = Iris[-S,]

FEATURE = Train[, c(1:4)]
RESPONSE = Train[, 5]

tree = C5.0(FEATURE, RESPONSE, control = C5.0Control(noGlobalPruning = FALSE, 
    minCases = 2), trials = 10)

plot(tree)

의사결정나무는 위의 형태로 생겼습니다. 학습 데이터들에 대해 특정 조건(예를 들어, Petal.Length가 1.9이하인지 아닌지)을 만족하는지 여부에 따라 분류작업을 진행합니다. 여기서 특정조건이라는 것이 바로 Feature들을 분리하는 것이라고 이해하시면 됩니다. Petal.Length, Petal.Width 등의 알고리즘은 모두 연속형 변수들입니다. 우리는 이러한 연속형 변수들에 대해 이진선택을 할 수가 없습니다. 그렇기 때문에 연속형 변수들에 대해 최적의 분리점을 찾는 것이 의사결정나무에서 매우 중요한 과제 중 하나입니다. 우리는 이 최적의 분리점을 찾아가는 방식에 대해 ’재귀적(recursive)’라고 합니다.

library(ggplot2)
library(extrafont)
library(dplyr)
library(ggsci)

Iris %>%
  ggplot() +
  geom_point(aes(x = Petal.Length, y = Petal.Width, col = Species)) +
  geom_vline(xintercept = c(1.9,4.9),linetype = 'dashed') +
  geom_hline(yintercept = c(1.7),linetype = 'dashed') +
  xlim(0,7) + ylim(0,3) +
  xlab("Petal Length") + ylab("Petal Width") +
  theme_classic() +
  theme(text = element_text(size = 15, face = "bold", family = "Times New Roman"),
        legend.position = c(0.15,0.8))

위 산점도를 살펴보시면, 의사결정나무 알고리즘은 꽃들의 Species를 분류하기 위한 최적의 분리점을 찾아냈습니다. 의사결정 나무에서는 각 변수들의 분리점으로 인해 생겨난 세부 영역들에 존재하는 데이터들에 대해서는 동일한 예측값을 제공합니다. 만약 영역 내에 다른 범주의 데이터가 함께 포함되어 있다면 그것은 곧 분류 오차라고 할 수 있습니다.

Regression Tree

보통의 기계학습 알고리즘은 분류문제를 푸는데 많이 활용이 되지만, 의사결정나무는 연속형 반응변수들에 대해서도 예측을 진행할 수가 있습니다. 예측 방법은 동일합니다. 주어진 Features에 대해 분리점을 만든 다음, 분리된 영역들에 대해 예측값을 계산합니다. 최적의 분리점을 찾는 방법은 원리만 생각했을 경우 매우 간단합니다. 이 책을 보시는 분들은 모두 선형회귀의 최소제곱법은 알고 계실 것입니다. 최소제곱법에서 $\sum(y_{i}-\hat{y}_{i})^2$이 최소가 되는 회귀 계수를 찾듯이, 의사결정나무또한 잔차가 최소가 되는 Feature들의 분리점을 찾고자합니다. 의사결정나무에서 연속형 변수에 대한 예측식은 다음과 같습니다.

\[ f(x)=\sum_{n=1}^{N}c_{n}I(x\in R_{n}) \]

위 식에서 $R_{n}$은 분리된 영역$(R_{1},R_{2},\cdots,R_{N})$을 의미합니다. $c_{n}$은 상수항으로 반응변수를 의미합니다. 즉, 같은 영역에 속해있는 데이터들에 대해서는 상수항인 $c_{n}$을 예측값으로 활용한다는 것입니다. 그렇기에 우리가 예측해야되는 값 $c_{n}$은 추정값을 의미하는 $\hat{c}_{n}$으로 표현할 수 있습니다. $\hat{c}_{n}$은 동일 파티션에 포함되는 데이터들의 평균값으로 계산을 합니다.

\[ \hat{c}_{n} = \frac{1}{K}\sum_{i=1}^{K}(y_{i}|x_{i}\in R_{n}) \]

Feature의 최적의 분리점을 찾는 방식은 예들어 변수 $x$에 대해 분리점 $s$를 적용했다고 생각해보겠습니다. 그렇다면 데이터의 영역은 다음의 2영역으로 나누어집니다.

\[ R_{1}= \{x\leq s\},\ R_{2} = \{x> s\} \]

그렇다면 의사결정나무 알고리즘은 각 영역에 대한 예측값 $\hat{c}_{1}$과 $\hat{c}_{2}$를 계산하게 됩니다. 그렇게 되면 예측값과 실제값과의 차이는 다음의 식으로 계산이 됩니다.

\[ \sum_{x_{i}\in R_{1}}(y_{i}-\hat{c}_{1})^2 +\sum_{x_{i}\in R_{2}}(y_{i}-\hat{c}_{2})^2 \]

그리고 의사결정나무는 가장 적은 오차를 발생하는 분리점을 찾을 때까지 계산을 반복합니다. 식을 정리하면 다음과 같습니다.

\[ \min_{x,s}[\min_{c_{1}}\sum_{x_{i}\in R_{1}}(y_{i}-\hat{c}_{1})^2 +\min_{c_{2}}\sum_{x_{i}\in R_{2}}(y_{i}-\hat{c}_{2})^2] \]

로지스틱 회귀분석

Doublek Park — Fri, 27 Mar 2020 11:46:28 +0900

4. 로지스틱 회귀분석

로지스틱 회귀분석(logistic regression analysis)은 일반화 선형모형(generalized linear model, GLM)이라 불리는 큰 범주의 통계모형 모델링 방법에 속하는 방법입니다. 우선 GLM의 특징만 간단히 훑어보고 로지스틱 회귀모형에 대해 다루겠습니다.

GLM(Generalized Linear Model)

GLM은 문자 그대로 선형적이지 않은 대상(비선형)을 선형적으로 '일반화'시킨 모형입니다.
선형화 시키는 이유는 여러 가지가 있을 수 있지만, 가장 대표적으로 선형모형에서만 사용할 수 있는 모형의 해석, 확장, 수정 등의 방법을 사용하기 위해서입니다.
비선형모형의 경우는 모형을 다루는 방법이 많이 제한될 뿐만 아니라 새로운 데이터에 민감하기 때문에 선형모형에 비해 덜 선호되는 경향이 있습니다.

그렇다면 로지스틱 회귀분석에서 선형화 시키는 대상은 무엇일까요? 바로 관심 범주에 속할 확률입니다. 확률은 일반적으로 예측자들에 따라 비선형하게 분포되어 있고, 형태는 S자 형태가 되는 경우가 많습니다. 물론 처음부터 확률에 선형라인을 적합시켜 선형회귀분석을 진행할 수도 있지만 이는 몇 가지 제약이 따릅니다.

library(ggplot2)

k = runif(n = 500,min = 2 , max = 4)

K = c()
P = c()
P1 = c()

for(i in k){

  p1 = exp(-21.3 + 6.74*i) /(1 + exp(-21.3 + 6.74*i)) 
  # error = runif(n = 1, min = -0.1, max = 0.1)
  error = 0 
  p = p1 + error
  p = ifelse(p < 0 ,0,p)
  p = ifelse(p > 1, 1,p)


  K = c(K,i)
  P = c(P,p)
  P1 = c(P1,p1)

}

ggplot(NULL) +
  geom_point(aes(x = K, y = P),col = 'royalblue', alpha = 0.2) +
  theme_bw() +
  scale_x_continuous(breaks = seq(2,4,by = 0.5)) +
  xlab("Predictor") + ylab("Prob")

위 그래프는 어떤 연속형 예측자에 따른 관심범주에 속할 확률입니다. 예를 들어 알콜 섭취량과 비만일 확률은 이런 식으로 분포할 수 있습니다. 알콜 섭취가 많을 수록 비만일 확률은 높아지지만 완전 선형적이라기 보다는 약간의 커브가 존재하는 것입니다. 우선여기에 일반적인 선형회귀 라인을 적합시켜 보겠습니다.

ggplot(NULL) +
  geom_point(aes(x = K, y = P),col = 'royalblue', alpha = 0.2) +
  geom_smooth(aes(x = K, y = P),method = 'lm', col = 'grey20') +
  geom_hline(yintercept = c(0,1), linetype = 'dashed') +
  scale_x_continuous(breaks = seq(2,4,by = 0.5)) +
  theme_bw() + 
  xlab("Predictor") + ylab("Prob")

선형 회귀선이 아주 비합리적이진 않습니다. 연속형 예측자가 증가함에 따라 확률 역시 증가하기 때문이죠. 또한 이런 선형식의 경우 위에서 배운 분산분석을 통한 모형의 적합도 검정부터 시작해서 기존에 회귀분석에서 사용하던 모든 분석을 진행할 수 있습니다. 그렇지만 이런 경우에는 구조적인 문제가 발생합니다. 바로 확률은 0과1 사이의 값을 갖는 데 반해 회귀선은 경우에 따라 음의 값이나 1을 초과하는 예측값를 제시할 수도 있다는 것입니다. 영역을 표시하자면 아래 동그라미와 같은 구간입니다.

ggplot(NULL) +
  geom_point(aes(x = K, y = P),col = 'royalblue', alpha = 0.2) +
  geom_smooth(aes(x = K, y = P),method = 'lm', col = 'grey20') +
  geom_hline(yintercept = c(0,1), linetype = 'dashed') +
  geom_point(aes(x = c(2.25,3.9), y = c(-0.05,1.05)),size = 10,shape =  1, col = 'red') +
  scale_x_continuous(breaks = seq(2,4,by = 0.5)) +
  theme_bw() + 
  xlab("Predictor") + ylab("Prob")

세로축은 확률 값을 표현한 것인데, 빨간 동그라미는 확률이 가질 수 없는 값을 추정하고 있습니다. 위 데이터에서는 -4 이하의 점에서 -확률 값으로 추정되고 있지만, 이 회귀선을 이용하여 새 데이터를 예측해 보면 이보다 훨씬 많은 포인트가 잘못된 값으로 추정될 가능성이 있습니다. 또한 이러한 구조적인 문제로 확률의 특성을 이용한 기타 추가 분석 역시 불가능하게 됩니다.

그렇다면 이제 비선형적인 모형을 적합시켜보겠습니다. 아래 그래프는 S자 형태를 띠는 비선형적인 회귀곡선입니다.

ggplot(NULL) +
  geom_point(aes(x = K, y = P),col = 'royalblue', alpha = 0.2) +
  geom_line(aes(x = K, y = P1),col = 'red', size = 2.5, alpha  = 0.5) +
  geom_hline(yintercept = c(0,1), linetype = 'dashed') +
  scale_x_continuous(breaks = seq(2,4,by = 0.5)) +
  theme_bw() + 
  xlab("Predictor") + ylab("Prob")

한눈에 보기에도 선형회귀선보다는 훨씬 데이터에 잘 적용됨을 알 수 있고 구조적인 문제도 발생하지 않습니다. 그렇지만 위에서 말씀드린대로 비선형 모델은 여러 가지 추가 분석에 제약이 있습니다. 이러한 제약을 극복하기 위해서 약간의 변환을 통해 이를 선형화하는 것이 로지스틱 회귀분석의 기본 아이디어입니다.

예측자가 주어졌을 때, 관심범주에 속할 확률을 선형으로 예측하기 이해서는 $0 \leq \pi_x \leq1$의 제약을 $-\infty<log(\frac{\pi_x}{1-\pi_x})<\infty$의 형태로 변환을 해주어야 합니다. $\pi_x$를 $\frac{\pi_x}{1-\pi_x}$로 변환, 즉 $odds$로 변환을 해주면, $\frac{\pi_x}{1-\pi_x}$는 $0 < \frac{\pi_x}{1-\pi_x}<\infty$의 범위를 가지게 됩니다. 그 후 $log$변환을 취해주면, 로그 함수의 특성에 따라 $-\infty<log(\frac{\pi_x}{1-\pi_x})<\infty$의 범위를 가지게 되는 것입니다. 우리는 관심범주의 확률을 선형모형으로 예측하기 위해 순수 $\pi_x$를 활용하는 것이 아니라, $log(\frac{\pi_x}{1-\pi_x})$를 활용할 것입니다. 이 변환을 $logit$변환이라 부르며, $logit$변환 값을 반응변수롤 하고 선형모델을 적합시킨 것을 로지스틱회귀분석이라고 합니다.

선형화를 위해 아래의 식을 고려해보겠습니다. 여기서 $\pi_x$는 설명 예측자가 주어졌을 때의 관심 범주에 속할 확률입니다.

$$
\pi_x = \frac {exp(\beta_0 + \beta_1 x )} {1+exp(\beta_0 + \beta_1 x )}
$$

이는 일반 선형회귀에서의 $\pi_x = \beta_0 + \beta_1 x$ 와 같이 직선의 관계를 나타내는 함수에 대응하는 것으로, 선형적인 관계가 아닌 성공확률 $\pi_x$ 와 설명 예측자와의 관계를 S자 모양으로 표현해주는 함수입니다. 또한 선형화를 위해 위의 함수를 이용하여 선형식 모양으로 정리를하면 다음과 같습니다.

$$
logit(\pi_x) = log \left( \frac {\pi_x} {1-\pi_x} \right) = \beta_0 +\beta_1x
$$

$log \left(\frac{\pi_x}{1-\pi_x} \right)$ 와 같은 형태를 $\pi_x$ 에 대한 로짓함수라고 부르며 $logit(\pi_x)$ 와 같이 표현합니다. 이 로짓함수를 이용하면 우변을 선형식으로 표현할 수 있습니다. 이것이 처음에 말씀드렸던 확률과 예측자의 비선형적 관계를 선형식으로 일반화하는 과정입니다. 또한 로지스틱 회귀모형과 같은 GLM에서는 절편과 기울기를 일반적인 회귀분석과 다르게 최소제곱 추정법이 아닌 최대가능도도추정법(method of maximum likelihood estimation)이라 불리는 방법에 의해 추정합니다. 이는 다음 장에서 다루겠습니다

이제 구체적으로 로지스틱 모형을 살펴봅시다.

기본적인 로지스틱 모형은 반응 값이 이항변수임을 가정합니다. 잘 생각해보면, 위에서 계속 다루었던 확률은 주어진 값이 될 수 없다는 것을 떠올리실 수 있을 겁니다. 확률은 측정될 수 있는 것이 아니기 때문이죠. 설명을 위해 보여드린 그래프의 확률 값 역시 마찬가지입니다.

로지스틱 모형에서의 확률은 이항 반응 값으로 측정된 질적 자료를 이용해 추정됩니다. 예를 들어 알콜 섭취량과 비만일 확률의 관계를 알기 위한 조사를 할 때, '비만일 확률' 자체는 측정할 수 없고 '비만 여부' 라는 이항 반응 값을 측정해 그 확률을 추정한다는 것이죠.

이런 이항 반응 값(관심 범주 = 1)와 예측자간의 산점도를 그리면 다음과 같습니다.

PG = ifelse(P1 < 0.5,0, 1)
K1 = K + runif(n = length(K),min = -0.5, max = 0.5)

ggplot(NULL) +
  geom_point(aes(x = K1, y = PG),col = 'royalblue') +
  geom_line(aes(x = K, y = P1),col = 'red', size = 2.5, alpha  = 0.5) +
  theme_bw() +
  xlab("Predictor") + ylab("Prob") +
  scale_x_continuous(breaks = seq(2,4,by = 0.5))

관심범주 아니면 비 관심범주로 조사된 세로 축 반응 변수는 0아니면 1의 값만 갖습니다. 관심있는 범주면 1을 부여하고 그렇지 않으면 0을 부여해 구별해 놓은 것이지요. 그에 비해 예측자는 연속적으로 분포함을 알 수 있습니다. 산점도를 보면 직관적으로 예측자 값이 큰 값을 가지면 관심범주에 속할 확률이 크고 작으면 비 관심 범주에 속할 확률이 크다는 것을 확인할 수 있습니다. 문제는 예측자가 겹치는 부분입니다. 하늘색 선을 기준으로 가장 왼쪽, 오른쪽 영역은 겹치는 부분이 없어 어렵지 않게 범주를 예측할 수 있지만 두 범주가 공존하는 가운데 부분은 예측자가 겹치게됩니다. 이 부분이 확률을 추정하여 로지스틱 회귀곡선을 그렸을 경우 변곡점이 생기는 영역이고 추정된 확률이 0.5에 가까운 애매한 값으로 표현되는 곳입니다. 즉, 예측하기 어려운 영역이라고 할 수 있습니다. 로지스틱 회귀곡선을 적합시켜 보겠습니다.

ggplot(NULL) +
  geom_point(aes(x = K1, y = PG),col = 'royalblue') +
  geom_vline(xintercept = c(2.7,3.6),linetype = 'dashed', col = 'red') +
  geom_text(aes(x = c(2,4), y = c(0.5,0.5)),label = c("비관심범주","관심 범주"),col = 'red',
            size = 5) +
  geom_text(aes(x = 3.1, y = 0.5), label = "공존", col = 'royalblue',
            size = 5) +
  theme_bw() +
  xlab("") + ylab("") +
  scale_x_continuous(breaks = seq(1,5,by = 0.5))

적합된 회귀곡선은 다음과 같습니다.

$$
\hat \pi_x = \frac {exp(-21.3+6.74x)} {1+exp(-21.3+6.74x)} \ \Leftrightarrow\ log\left( \frac {\hat \pi_x} {1-\hat \pi_x} \right) = -21.3+6.74x
$$

선형적으로 추정된 $logit(\hat \pi)$ 는 꼭 연속형 예측자뿐 아니라 범주형 예측자도 가능하고 혼합된 형태도 가능합니다. 또한 모형에 대한 해석은 선형적으로 바라보아도 상관은 없으나 로짓 값이 직관적이지 않아 일반적으로 오즈비를 통해 하게됩니다.

예를 들어 위 식에서 예측자의 기울기 6.74는 '예측자가 한 단위(1) 증가했을 때의 성공할 오즈 '가 됩니다. 이것은 두 모형의 차를 통해 확인할 수 있습니다.

예측자가 $x$ 인 모형과 한 단위(1) 증가하여 $x+1$ 인 모형의 차를 봅시다. 아래 식에서는 추정된 확률의 구별을 위해 예측자가 $x$ 인 경우에는 $\hat{\pi_{x}}$, $x+1$ 인 경우는 $\hat{\pi_{x+1}}$ 로 표현하겠습니다.

$$
\left[; -21.3+6.74(x+1) ;\right] - \left[; -21.3+6.74(x) ;\right] = 6.74\
$$

$$
\ \quad \
\Leftrightarrow \ \left[log\left( \frac {\hat \pi_{x+1}} {1-\hat \pi_{x+1}} \right) \right]-\left[log\left( \frac {\hat \pi_x} {1-\hat \pi_x} \right) \right] =log \left[ \left(\frac {\hat \pi_{x+1}} {1-\hat \pi_{x+1}} \right)/\left( \frac {\hat \pi_x} {1-\hat \pi_x} \right)\right]= log(\widehat {o.r} )
$$

즉, 로지스틱 회귀모형에서의 기울기는 예측자가 1 증가했을 때의 로그오즈비 추정량이고 $exp[기울기]$ 는 예측자가 한 단위 증가했을 때의 오즈비 추정량입니다. 위의 예에서 적용해보면 예측자가 한 단위 증가할 때 관심범주에 속할 오즈가 $exp(6.74) = 846$ 배가 된다는 것을 알 수 있습니다. 이를 응용하면 단위를 조정해서 확인할 수도있습니다. 예를 들어 위에서 다룬 예제는 예측자의 범위가 매우 작으므로 1이 아닌 0.1이 증가했을 때의 오즈비를 확인하고 싶을 수 있습니다. 로그오즈비는 $\left[\ -21.3+6.74(x+0.1) \right] - \left[\ -21.3+6.74(x) \right] = 0.674$ 이 되겠고 오즈는 $exp(0.674)=1.96$ 이 됩니다. 즉, 예측자가 0.1 증가하면 관심 범주에 속할 오즈가 1.96배 됨을 알 수 있습니다.

카이제곱 독립성 검정

Doublek Park — Fri, 27 Mar 2020 11:44:58 +0900

2. 카이제곱 독립성 검정

카이제곱 독립성 검정은 두 범주형 변수가 독립적으로 분포하는지를 테스트하는 검정입니다. 이 역시 분할표에서 진행되며 일반적으로 2x2가 아닌 여러 범주를 갖고 있는 경우에 사용합니다.

카이제곱 독립성 검정의 기본적 아이디어는 관측빈도와 기대빈도(두 변수가 독립일 때의 빈도)의 차이를 비교하는 것입니다. 이 방법론을 자세히 살펴보면 다음과 같습니다.

각 범주(셀)의 기대빈도가 높다면(일반적으로 5를 기준으로 합니다), 정규분포 근사를 할 수 있습니다.
정규 근사가 가능하면 이를 이용해 카이제곱 통계량을 얻을 수 있습니다. (10장 참고)
이 카이제곱 통계량은 관측빈도와 기대빈도 차이의 변동을 정량화한 통계량입니다.
카이제곱 통계량이 충분히 높다면 관측빈도와 기대빈도의 차이는 크다고 할 수 있습니다.
만약 관측빈도와 기대빈도의 차이가 충분히 크면, 두 변수가 독립적이지 않다는 결론을 내리게 됩니다.

예를 하나 보겠습니다.

기대빈도는 두 변수가 통계적으로 독립이라는 귀무가설($H_0$) 하에 기대되는 빈도이고 이 귀무가설을 다른 방식으로 표현하면 $H_0 : \pi_{ij} = \pi_{i\cdot} \ \cdot\ \pi_{\cdot j}$입니다. 위의 표를 이용하여 이 아이디어를 생각해봅시다.

$\pi_{ij}$는 각 셀에 속할 확률입니다. 예를 들어 지역3이면서 B당을 지지할 확률은 $\pi_{23}$이 됩니다.
$\pi_{i \cdot}$은 i번 째 행에 속할 확률로 B당을 지지할 확률은 $\pi_{2\cdot}$입니다.
$\pi_{\cdot j}$는 j째 열에 속할 확률입니다. 지역3에 속할 확률은 $\pi_{\cdot 3}$ 입니다.

만약 두 변수가 전혀 연관이 없다면 확률의 곱법칙에 의해 지역3에 속하면서 B당을 지지할 확률은 지역 3에 속할 확률과 B당을 지지할 확률의 곱으로 표현될 것입니다. 그렇기 때문에 두 변수가 통계적으로 독립이라는 것은 $\pi_{ij} = \pi_{i\cdot} ; \cdot; \pi_{\cdot j}$ 과 동치입니다. 또한 $\pi_{i\cdot }$은 $\frac{n_{i\cdot}}{n}$ 으로 추정되고 $\pi_{\cdot j}$는 $\frac{n_{\cdot j}}{n}$은 으로 추정됩니다. 즉, 각 행과 열의 빈도와 전체빈도의 비율로 추정되는 것으로 볼 수 있습니다.

기대빈도를 구하는 방법은 다음과 같습니다.
$$
E_{ij} = n \cdot \pi_{ij} = n\cdot \pi_{i \cdot} \cdot \pi_{\cdot j}\ \
(추정)\Rightarrow n\cdot \left( \frac {n_{i\cdot}} {n} \right)\cdot \left( \frac {n_{\cdot j}} {n} \right) = \frac {n_{i\cdot}\cdot n_{\cdot j} }{n}
$$

이를 이용해 지역3에 속하면서 B당을 지지할 기대빈도를 구해보면 약 161.44가 나옵니다. 이런식으로 각 셀에 대한 기대빈도를 구해 괄호로 표현하면 다음과 같고 각 셀의 기대빈도는 충분히 커서 근사 가정을 만족하므로 카이제곱 검정을 진행할 수 있습니다.

위에서 말씀드렸듯이, 기대빈도는 두 변수가 독립이라는 가정하에 구해진 빈도이므로 실제 관측빈도와 기대빈도의 차이가 크다는 것은두 변수의 연관성 역시 크다는 것을 의미합니다. 이 아이디어를 기반으로 각 셀에서의 관측빈도와 기대빈도의 총량을 이용하면 두 변수의 독립성을 판단할 수 있을 것입니다. 단순히 차이를 합치게되면 + / - 가 상쇄되므로 제곱을 해서 합치고 이는 카이제곱분포를 따르게 됩니다. 해당 식을 일반화하면 다음과 같습니다.
$$
Q = \sum_{i=1}^a \sum_{j=1}^b \frac {(O_{ij}-E_{ij})^2} {E_{ij}} \ \sim ; \chi^2 (;(a-1)(b-1))\
$$

$$
O : observed \ frequencies \qquad E : expected ;frequencies\
$$

$$
a : number\ of\ categories\ for \ column \ variables\
b: number\ of\ categories\ for\ row \ variables
$$

구해진 검정통계량 Q는 자유도가 (열 변수의 범주 - 1) $\cdot$ (행 범주의 범주 - 1) 인 카이제곱 분포를 따릅니다. 만약 Q가 크지 않다면 실제 관측빈도와 독립일 때의 기대빈도의 차가 전체적으로 크지 않다는 것을 의미하고 두 변수가 독립이라는 귀무가설을 기각하지 못할 것입니다. 반대로 Q 가 매우 크다면 두 변수는 연관성이 있다는 것을 의미하고 귀무가설을 기각하게 될 것입니다.

자유도가 저런 형태를 띠는 이유는 전체 표본 수 $n$이 고정되어있기 때문입니다. n이 고정된 상태로 기대빈도를 추정하면서 행의 합=$n$, 열의 합=$n$이라는 제약식을 갖게 되고 그 조합으로 구해지는 Q는 (열 변수의 범주 - 1) $\cdot$ (행 범주의 범주 - 1) 라는 자유도를 갖게 되는 것입니다.

이 방법을 이용하여 지역과 지지 정당이 독립인지에 대한 카이제곱 검정통계량을 구해보면 Q는 약 411.35가 되고 자유도는 (3-1)(4-1) = 6 이 됩니다. 이 경우 $p-value$는 매우 작아 두 변수가 독립이라는 귀무가설은 기각됩니다.

다항 회귀분석(Polynomial Regression)

Doublek Park — Mon, 23 Mar 2020 01:30:27 +0900

13. 다항 회귀분석(Polynomial Regression)

다항 회귀분석 : 예측자들이 1차항으로 구성된 것이 아닌, 2차항, 3차항 등으로 구성되어 있는 회귀식
$$
\hat y = b_0+b_1x_i+b_2x_{i}^2+\cdots+b_px_p^{p}
$$

다항 회귀분석은 위 식처럼 구성이 될 수 있습니다. 다항회귀분석에서는 매우 중요한 개념이 하나 따라오는데, 이를 확인하고 다항 회귀분석을 진행하도록 하겠습니다.

분산-편차의 Trade off 관계

Trade off : 두 개의 목표 중에서 하나를 달성하려고 하면 다른 목표가 희생되어야 하는 관계를 의미합니다.

기계학습에서 예측 모형을 만드는 것은 항상 Trade off 관계를 생각해야 됩니다. 기본적으로 통계학에서는 모형의 Target Variable(종속 변수)이 연속형(Continuous)일 때는 MSE 와 Bias에 주목합니다. 만약 Target Variable이 범주형(Categorical)일 경우에는 모형의 Error Rate에 주목합니다. 그 이유는 모형의 정확성은 MSE 혹은 Bias가 얼마나 작은지에 따라 결정되기 때문입니다.

MSE(Mean Squared Error)

앞서 단순선형회귀에서 MSE를 다루었지만, 다시 한번 복습하면서 재차 다루어보도록 하겠습니다.

$MSE$를 이해하기 위해서는 위 그림의 의미를 제대로 숙지하고 있어야 합니다.

$$
Y_i = 실제 관측값 ,
$$

$$
\hat{Y_i} = 예측값
$$

$$
\overline{Y} = 평균
$$

여기서 예측값 $\hat{Y_i}$은 추정된 회귀식 $\hat{Y_i} = \beta_0 + \beta_1X_i$으로부터 추정된 예측 값입니다.
평균값 $\overline{Y}$은 $\overline{Y} = \frac{1}{n}\Sigma(Y_i)$ 평균 산술식으로부터 계산된 표본평균입니다.

보라색 간격에 해당되는 $\hat{Y_i}-\overline{Y}$는 간격의 차이를 설명할 수 있기 때문에($\beta_0 + \beta_1X_i - \frac{1}{n}\Sigma(Y_i)$) 추정된 회귀식이설명이 가능한 영역이 입니다. 하지만 초록색 간격에 해당되는 $Y_i - \hat{Y_i}$는 실제로 관측된 $Y_i$값이 왜 저기에 찍혔는지에 대해서는 설명을 할 수 없습니다. 그런관계로 해당 영역을 설명이 불가능한 영역입니다.

모든 모형은 설명력이 높으며 (혹은 설명 못하는 영역이 적은) 예측이 잘 되는 모형이 좋은 모형입니다. 결국 모형의 결함은 설명을 하지 못하는 $Y_i - \hat{Y_i}$은 오차로 계산하게 됩니다. 이를 잔차(Residuals, 혹은 Error)라고 합니다.

추정된 회귀식 $\hat{Y_i} = \beta_0 + \beta_1X_i$이 변수들 간의 인과관계를 제대로 설명하는지 측정하기 위하여 잔차의 합을 계산하게 됩니다. 여기서 잔차는 상황에 따라 양수가 될 수도, 음수가 될 수도 있습니다. 그렇기에 부호 간 계산으로 잔차의 합이 상쇄되는 것을 방지하기 위하여 잔차를 제곱하여 합을 구하게 됩니다. 이를 오차의 제곱합(Sum Squred Error, $SSE$)라고 부릅니다. 그런 다음 계산된 $SSE$를 보정하기 위하여 $SSE$를 오차의 자유도($df_e$)로 나눕니다. 그렇게 계산 된 값을 오차 평균 제곱합(Mean Squared Error, $MSE$)라고 부릅니다.

$$
SSE = \Sigma(Y_i - \hat{Y_i})^2
$$

$$
MSE = \frac{1}{df_E}\Sigma{(Y_i-\hat{Y_i})^2}
$$
SSE를 오차의 자유도로 나누어주는 이유

제곱 된 값은 항상 양수입니다
양수를 모두 더하게 되면, 데이터가 많을 수록 값은 커지게 됩니다.
그 의미는 SSE자체가 데이터가 많을 수록 단순히 커지는 의미이기 때문에, 정말 오차가 높은가? 에 대한 평가기준이 잘못 해석될 수가 있습니다.
이를 자유도로 나눔으로써 평균이 계산되고, 보정된 평균오차를 모형의 Error 수준으로 판단하게 됩니다.

위와 같은 계산으로 회귀식이 설명 가능한 영역인, $\hat{Y_i} - \overline{Y}$은 각각 다음과 같이 계산이 됩니다.
$$
SSR = \Sigma(\hat{Y_i}-\overline{Y})^2
$$

$$
MSR = \frac{1}{df_R}\Sigma(\hat{Y_i}-\overline{Y})^2
$$

그렇다면 추정되는 회귀식이 데이터의 인과관계를 얼마나 잘 설명하는지 계산하기 위해 설명을 하지 못하는 영역 대비, 설명을 할 수 있는 영역을 비교하게 됩니다.
$$
F , value = \frac{MSR}{MSE} = \frac{\frac{1}{df_R}\Sigma(\hat{Y_i}-\overline{Y})^2}{\frac{1}{df_E}\Sigma{(Y_i-\hat{Y_i})^2}}
$$
$\frac{MSR}{MSE}$는 두 집단의 분산을 비교하는 F 분포를 따르게 됩니다.

추정된 회귀식의 설명하는 영역이 설명하지 못하는 영역에 비해 얼마나 큰지 나타내는 검정통계량(Test Statistics)$F , value$는 값이 클수록 회귀식의 귀무가설($H_0,: 회귀식의 , 기울기가 ,0이다$)를 기각할 가능성이 커지게 됩니다. 그렇다면 $F\ value$값이 커질려면 다음과 같습니다.

$MSR$이 증가
$MSE$가 감소

분석모형의 성능 평가를 $MSE$로 하는 이유입니다. $MSE$가 작은 모형일수록 회귀식의 오차가 줄기때문에 그만큼 현상을 잘 설명한다고 할 수 있습니다.

Variation & Bias

회귀식으로 추정된 $\hat{Y_i}$는 얼핏보면 단일 값인 점 추정(Point Estimation)으로 생각할 수 있지만, 모든 통계분석 모형은 구간 추정(Interval Estimation)입니다. 구간 추정이란 소리는 추정값에 대한 신뢰구간을 계산한다는 의미입니다.

신뢰구간의 의미는 똑같은 $X$값이 주어졌을 때, 추정값 $\hat{y} = \beta_0 + \beta_1 X$ 의 값이 $[\hat{y} - \alpha , \hat{y} +\alpha]$의 범위에 속한다는 의미입니다. 만약 분산이 크다면, 이 신뢰구간의 길이는 길어지게 되고, 추정의 신뢰성이 떨어지는 문제가 발생합니다.
반대로 편의(Bias)는 추정된 값이 모집단의 특성, 즉 모수를 반영하지 못한다는 의미입니다.

위 그림을 보시면 분산과 편향이 크고 작을 때에 따라 모형의 정확성이 어떻게 변하는지 알 수 있습니다. 모수의 True Value가 원 정중앙에 있다고 하였을 때, Variance 가 크다는 것은 추정값의 범위가 넓은 것을 의미하고, Bias가 크다는 것은 영점조준 사격 훈련 때 탄집군은 생겼지만 영점이 잘못잡혔다와 비슷하다고 생각하시면 됩니다.

선형 & 비선형 Modeling

Linear Regression(선형 회귀분석)과 Non - Linear Regression(비선형 회귀분석)을 잠깐 다루고 가겠습니다.

library(ggplot2)

ggplot(Regression) +
  geom_point(aes(x = X, y = y),col = 'royalblue',alpha = 0.4) +
  geom_smooth(aes(x = X, y = y),col = 'red') +
  theme_bw() +
  xlab("") + ylab("")


ggplot(Regression) +
  geom_point(aes(x = X, y = y2),col = 'royalblue',alpha = 0.4) +
  geom_smooth(aes(x = X, y = y2),col = 'red') +
  theme_bw() +
  xlab("") + ylab("")

)

사람들이 회귀분석을 돌릴 때, 가장 실수하는 부분은 단순하게 변수들 간의 상관관계만을 파악해서 분석하는 경우입니다. 상관관계는 두 변수의 관계가 선형성을 띄는지를 판단하는 것일 뿐입니다. 만약 두 변수가 비선형 관계에 있을 경우, 상관관계는 낮게 잡힐 수도 있습니다. 하지만 상관계수가 낮게 잡힌다고 해서 이 두 변수 간에 관계가 존재하지 않는 것은 아닙니다. 비선형으로 회귀식을 잡으면 충분히 관계를 설명할 수가 있게 됩니다.

ggplot(Regression) +
  geom_point(aes(x = X, y = y3),col = 'royalblue',alpha = 0.4) +
  geom_smooth(aes(x = X, y = y3),col = 'red') +
  theme_bw() +
  xlab("") + ylab("")

특히 이런 경우, 데이터의 상관관계수가 매우 낮게 계산이 됩니다. 상관계수만 보면 매우 낮기때문에 일반적으로 모델링 할 생각부터 안하게 됩니다. 하지만 분석모형에서는 이러한 비선형 관계들로 관계식을 추정할 수 있습니다.

선형 회귀분석

두 변수의 관계가 선형인 경우에 대해서 회귀분석을 추정해보겠습니다.

LINEAR = lm(y ~ X,data = Regression)
summary(LINEAR)


Call:
lm(formula = y ~ X, data = Regression)

Residuals:
    Min      1Q  Median      3Q     Max 
-9.5537 -5.7116  0.2738  5.0961 10.2835 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   1.9839     0.9975   1.989   0.0486 *  
X            10.0924     0.1620  62.308   <2e-16 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 6.085 on 148 degrees of freedom
Multiple R-squared:  0.9633,    Adjusted R-squared:  0.963 
F-statistic:  3882 on 1 and 148 DF,  p-value: < 2.2e-16

ggplot(Regression) +
  geom_smooth(aes(x = X, y = predict(LINEAR, newdata = Regression)),col = "red",  method = 'lm') +
  geom_point(aes(x = X , y = y),col = 'royalblue') + ylab("") + xlab("") + ggtitle("Linear Regression") +
  theme_bw()

일반적인 선형회귀분석, 즉 선형을 완벽하게 띄고 있는 변수 간의 관계는 간단하게 선형으로 적합시키면 문제가 없습니다.

Polynomial Regression

변수 간의 관계가 y=x2y=x2형태를 가지는 데이터에 대해 2차항 회귀분석(다항 회귀분석)을 적용시켜 보겠습니다.

# 제곱꼴 관계를 선형으로 적합
NonLinear = lm(y2 ~ X, data = Regression)
summary(NonLinear)


Call:
lm(formula = y2 ~ X, data = Regression)

Residuals:
    Min      1Q  Median      3Q     Max 
-154.19  -84.79  -46.28   46.35  446.95 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -208.872     21.225  -9.841   <2e-16 ***
X            103.788      3.447  30.113   <2e-16 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 129.5 on 148 degrees of freedom
Multiple R-squared:  0.8597,    Adjusted R-squared:  0.8587 
F-statistic: 906.8 on 1 and 148 DF,  p-value: < 2.2e-16

2차항의 관계를 선형으로 적합하였을 때의 설명력은 85 ~ 86%가 나온 것을 알 수가 있습니다.

다음으로 다항 회귀분석(2차항)을 적용시켜보도록 하겠습니다.

NonLinear2 = lm(y2 ~ poly(X,2), data = Regression)
summary(NonLinear2)


Call:
lm(formula = y2 ~ poly(X, 2), data = Regression)

Residuals:
    Min      1Q  Median      3Q     Max 
-65.180 -25.879   5.213  29.693  39.436 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  345.341      2.582  133.74   <2e-16 ***
poly(X, 2)1 3899.149     31.625  123.29   <2e-16 ***
poly(X, 2)2 1527.866     31.625   48.31   <2e-16 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 31.63 on 147 degrees of freedom
Multiple R-squared:  0.9917,    Adjusted R-squared:  0.9916 
F-statistic:  8767 on 2 and 147 DF,  p-value: < 2.2e-16

회귀식을 $\hat{y_i} = \beta_0 + \beta_1x_i +\beta_2x_i^2$형태로 적합한 결과 설명력은 99%로 상승한 것을 볼 수 있습니다.

ggplot(Regression) +
  geom_smooth(aes(x = X, y = predict(NonLinear2,newdata = Regression)),col = "red") +
  geom_point(aes(x = X, y = y2),col = 'royalblue') + 
  ylab("") + xlab("") + 
  ggtitle("Polynomial Regression") +
  theme_bw()

유연성이 있는 회귀분석

다음 회귀분석은 $y=sin(x)$꼴을 가지는 두 변수 간의 관계를 회귀식으로 추정해보도록 하겠습니다. 워낙 형태가 괴이하기 때문에 몇차 항을 적합시켜야할지 모르겠습니다. 그러하니 변수항의 차수(Degree of Polynomial)을 2 ~ 10까지 주고 Testing을 해보도록 하겠습니다.

# Train Set & Test Set 형성

TRAIN = Regression[1:100,]
TEST = Regression[101:150,]

# 저장공간 생성

DEGREE = c()
TEST_MSE = c()
TRAIN_MSE = c()
Adj_R = c()
TEST_VAR = c()
TRAIN_VAR = c()

# 적합 모델 찾기 

for( degree in 2:10){

  FLEXIBLE_MODEL = lm(y3 ~ poly(X,degree),data = TRAIN)

  ## Summary Save

  SUMMARY = summary(FLEXIBLE_MODEL)
  ANOVA = anova(FLEXIBLE_MODEL)
  DEGREE = c(DEGREE,degree)

  ## R_SQUARE

  Adj_R = c(Adj_R,SUMMARY$adj.r.squared)

  ## Train Set

  TRAIN_MSE = c(TRAIN_MSE, ANOVA$`Mean Sq`[2])
  TRAIN_VAR = c(TRAIN_VAR, var(FLEXIBLE_MODEL$fitted.values))

  ## Test Set

  Pred = predict(FLEXIBLE_MODEL, newdata = TEST)
  TEST_RESIDUALS = (Pred - TEST$y3)
  TEST_MSE_VALUE = sum(TEST_RESIDUALS^2)/(nrow(TEST))
  TEST_MSE = c(TEST_MSE,TEST_MSE_VALUE)
  TEST_VAR = c(TEST_VAR, var(Pred))
}

## Test 결과 데이터프레임 생성

F_DATA = data.frame(
  DEGREE = DEGREE,
  Adj_R = Adj_R,
  TRAIN_MSE = TRAIN_MSE,
  TRAIN_VAR = TRAIN_VAR,
  TEST_MSE = TEST_MSE,
  TEST_VAR = TEST_VAR
)

항차를 2차항부터 10차항까지 차례대로 추정해본 결과는 다음과 같습니다.

library(dplyr)
library(reshape)

ggplot(TRAIN) +
  geom_point(aes(x= X, y = y3) , col = 'royalblue', alpha = 0.8) +
  geom_smooth(aes(x = X, y = predict(FLEXIBLE_MODEL,newdata = TRAIN)),col = 'red') +
  xlab("") + ylab("") + ggtitle("Flexible Regression") +
  theme_bw()


ggplot(F_DATA) +
  geom_point(aes(x = DEGREE, y = Adj_R * 100)) +
  geom_line(aes(x = DEGREE, y = Adj_R * 100)) +
  geom_text(aes(x = DEGREE, y = Adj_R * 100 + 5,
                label = paste(round(Adj_R*100,2),"%",sep="")),size = 3)+ 
  scale_x_continuous(breaks = seq(2,10,by = 1)) + 
  ylab("Adj_R2") +
  theme_bw()


F_DATA %>%
  select(DEGREE,TRAIN_MSE,TEST_MSE) %>%
  melt(id.vars = c("DEGREE")) %>%
  ggplot() +
  geom_point(aes(x = DEGREE, y = value, col = variable)) +
  geom_line(aes(x = DEGREE, y = value, col = variable)) +
  labs(col = "") +
  theme_bw() +
  theme(legend.position = "bottom") +
  xlab("Degree") + ylab("MSE")

F_DATA %>%
  select(DEGREE,TRAIN_VAR,TEST_VAR) %>%
  melt(id.vars = c("DEGREE")) %>%
  ggplot() +
  geom_point(aes(x = DEGREE, y = value, col = variable)) +
  geom_line(aes(x = DEGREE, y = value, col = variable)) +
  labs(col = "") +
  theme_bw() +
  theme(legend.position = "bottom") +
  xlab("Degree") + ylab("Variation")

)
)

$R^2$는 6차항부터 급격하게 올라가는 것을 볼 수가 있습니다.
따라서 6차항은 되어야 $y=sin(x)$형태의 관계를 잘 설명할 수 있는 편이라고 생각할 수 있습니다.
$MSE$는 Train Set과 Test Set에 따라 추세가 다릅니다.
차수가 높아질수록 Train Set의 $MSE$는 감소하는 것을 알 수있습니다. 하지만 Test Set의 MSE는 감소하다가 증가하는 것을 확인할 수 있습니다. 이는 Train Set은 기가막히게 잘 맞추지만 새로운 데이터인 Test Set은 맞추지 못하는 OverFitting이 발생하였다고 볼 수 있습니다.
$Variance$는 항차가 올라갈수록 대체로 증가하는 추세에 있는 것을 볼 수 있습니다.
여기서 고차항의 회귀모형의 단점이 제대로 드러납니다. 분석 모형이 유연할수록(항차가 높을수록) 회귀추정값의 분산은 높게 뛰기 마련입니다. 이는 회귀식에 의한 추정값에 대한 신뢰구간이 길어진다는 의미이며, 결과에 대한 신뢰도가 떨어진다는 것을 의미합니다.

여기까지 비선형 회귀분석에 대해 알아보았습니다.

다중 회귀분석(Multiple Regression)

Doublek Park — Mon, 23 Mar 2020 01:29:08 +0900

12. 다중 회귀분석(Multiple Regression)

다중 회귀분석 : 단순 선형회귀분석의 확장판으로 예측자가 2개 이상 쓰이는 경우

다중 회귀분석은 예측자를 2개 이상 쓰는 경우로, 회귀분석과 거의 동일하다고 볼 수 있습니다. 식 표현은 행렬식을 이용해 표현을 하는데, 이 책의 취지와는 맞지 않으므로 간단하게 다중 회귀분석을 진행할 때 주의해야할 점들에 대해 다루면서 진행하겠습니다.

$$
\hat{y_i}=b_0+b_1x_{1i}+b_2x_{2i}\
$$

회귀식이 위 식처럼 구해져 있을 때, 회귀식의 해석은 다음과 같이 진행합니다.

$x_{1i}$가 1 단위 증가하면 $\hat{y_i}$는 $b_1$만큼 변한다.(단, $x2_i$는 고정)
$x_{2i}$가 1 단위 증가하면 $\hat{y_i}$는 $b_2$만큼 변한다.(단, $x1_i$는 고정)

여기서 중요한 점은 서로 다른 예측자는 상관성이 적어야 한다는 것입니다. 만약 $x_1$과 $x_2$의 상관성이 높다면, $x_1$이 증가하였을 때, $x_2$는 고정되지 못하고 함께 증가해버리는 문제가 발생해버립니다. 이런 상황을 다중공선성(Multicolinearity)라고 합니다. 회귀식에 다중공선성이 존재할 경우, 회귀식의 분산이 팽창을 하게 되며, $b_1$, $b_2$에 대한 추정이 불확실하게 됩니다. 그러므로 다중공선성이 존재할 경우, 회귀식에 투입되는 예측자를 다시 조정하여 회귀식을 구해야합니다. 이 부분은 후에 주성분 분석에서 다루도록 하겠습니다.

x1 = runif(n = 100, min = -10, max = 10)
x2 = 0.7*x1 + rnorm(n = 100,mean = 0,sd = 1)

y = 1.3*x1 + rnorm(n = 100, mean = 6, sd = 3)

DF = data.frame(
  x1 = x1,
  x2 = x2,
  y = y
)

library(GGally)

ggpairs(DF)

위 그림을 보시면 x1x1, x2x2와의 상관관계가 매우 높은 것을 확인할 수가 있습니다. 이러한 경우, 회귀분석을 구했을 때, 다중공선성이 매우 의심되는 상황이 발생합니다.

다중 회귀분석

M_Reg = lm(y ~ x1 + x2)
summary(M_Reg)


Call:
lm(formula = y ~ x1 + x2)

Residuals:
    Min      1Q  Median      3Q     Max 
-7.6871 -1.8648  0.2094  1.6262  6.5584 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   6.2825     0.2965  21.192  < 2e-16 ***
x1            1.1548     0.2202   5.244 9.18e-07 ***
x2            0.2368     0.3083   0.768    0.444    
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 2.937 on 97 degrees of freedom
Multiple R-squared:  0.8793,    Adjusted R-squared:  0.8768 
F-statistic: 353.4 on 2 and 97 DF,  p-value: < 2.2e-16

언뜻 보기에는 회귀분석에 큰 문제는 없어보입니다. 다중회귀분석에서는 x1x1, x2x2의 기울기 b1b1, b2b2에 대한 가설 검정이 진행이 됩니다. x1x1의 회귀계수 b1b1은 유의한 것으로 나왔지만, x2x2의 회귀계수 b2b2는 유의하지 않은 것으로 나왔습니다.

다중공선성 진단

library(car)

vif(M_Reg)

      x1       x2 
19.66709 19.66709

다중공선성은 분산팽창지수(VIF)를 측정함으로써 판단이 가능합니다. 기본적으로 5보다 작으면 다중공선성이 없다고 판단할 수 있습니다. 지금은 다중공선성이 매우 높은 상황이므로 다중공선성이 존재하고 있다고 확인할 수 있습니다.

회귀분석(R Code)

Doublek Park — Mon, 23 Mar 2020 01:26:29 +0900

11. 회귀분석(R Code)

회귀분석은 제가 만들어 둔 데이터로 진행을 하도록 하겠습니다.
데이터 다운로드 링크 : https://www.dropbox.com/sh/vtqlvrgdts2yfez/AAD_cd49dBcvgBNdz-C-A6TFa?dl=0

# 데이터 불러오기
Regression = read.csv("F:\\Dropbox\\DATA SET(Dropbox)/Regression.csv")

산점도

회귀분석은 우선적으로 산점도를 그려보고 선형성을 판단해야됩니다.

library(ggplot2)

ggplot(Regression,aes(x = X , y = y)) +
 geom_point() +
 geom_smooth(method = 'lm') +
 theme_classic()

산점도를 그려본 결과 X와 y는 선형 관계를 가지고 있는 것을 알 수 있습니다. 이런 경우 단순 선형 회귀분석을 진행하면 됩니다.

회귀분석

Reg = lm(y ~ X  , data = Regression)
anova(Reg)

Analysis of Variance Table

Response: y
           Df Sum Sq Mean Sq F value    Pr(>F)    
X           1 143757  143757  3882.2 < 2.2e-16 ***
Residuals 148   5480      37                      
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

summary(Reg)


Call:
lm(formula = y ~ X, data = Regression)

Residuals:
    Min      1Q  Median      3Q     Max 
-9.5537 -5.7116  0.2738  5.0961 10.2835 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   1.9839     0.9975   1.989   0.0486 *  
X            10.0924     0.1620  62.308   <2e-16 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 6.085 on 148 degrees of freedom
Multiple R-squared:  0.9633,    Adjusted R-squared:  0.963 
F-statistic:  3882 on 1 and 148 DF,  p-value: < 2.2e-16

$p-value$는 0과 매우 가까운 값입니다. 그러므로 회귀분석의 귀무가설($H_0:회귀식은\ 유의하지\ 않다$)을 기각하게 됩니다. 즉, 회귀선은 유의합니다.

R분석 결과를 자세히 보도록 하겠습니다.

Residuals는 $y_i-\hat{y_i}$의 요약 값을 나타냅니다.
Coefficients는 추정된 회귀식을 나타냅니다.
Estimate는 회귀식의 절편과 기울기를 나타냅니다.
(Intercept) : $b_0$의 값은 1.9839입니다.
$X$ : $b_1$의 값은 10.0924입니다.
Pr(>|t|)는 각각 $b_0$, $b_1$에 대한 가설검정 결과를 나타냅니다.
만약 설명 변수를 여러 개 사용하는 다중 회귀분석을 진행할 경우, 각 설명 변수에 대한 가설 검정을 진행하게 될 것입니다.
Multiple R-squared는 회귀모형의 $R^2$를 나타냅니다.
Adjusted R-squared는 조금은 다른 $R^2$를 나타냅니다.
일반적으로 회귀 모형은 설명 변수가 많을 수록 설명력은 높아지는 구조를 가지고 있습니다.
만약 다른 변수로 구성 된 두 회귀 모형의 설명력을 비교하고자 할 때 Adjusted R-squared를 사용합니다.

$$
Model_1:\hat{y_i}=b_0+b_1x_{1i}+b_2x_{2i}
$$
$$
Model_2:\hat{y_i}=b_{0^*}+b_1x_{1i}+b_2x_{2i}+b_3x_{3i}
$$

예를 들어 회귀식이 2개가 있고 두 모형 중 $R^2$가 더 높은 모형을 택하고자 합니다.
$Model2$는 3개의 설명 변수가 투입되었기에 설명 변수를 2개를 투입한 $Model1$에 비해 우위에 있습니다. $R^2$ 의 구조상 설명변수가 많아지면 항상 오를 수 밖에 없는 구조이기 때문입니다. 그렇지만 설명 변수가 많은 것은 항상 바람직한 것이 아닙니다. 그만큼 많은 계수를 추정해야하기 때문이죠. 그렇기에 설명 변수가 더 많이 투입된 부분을 보정해주어 더 바람직한 모형의 기준을 제시해 주는 $R^2$값이 Adjusted R-square입니다.

p-value : 회귀모형에 대한 유의성을 나타냅니다.

회귀분석의 결과를 정리하면 다음과 같습니다.

적합된 회귀선은 $\hat{y_i}=1.9839 +10.0924x_i$입니다. $x_i$가 한 단위 증가하면 $\hat{y_i}$는 10.0924만큼 증가합니다.
$R^2$는 0.963으로 96%의 설명력을 가진다고 볼 수 있습니다.

잔차 진단

회귀분석을 진행한 후에는 항상 가정 검토를 위해 잔차진단을 해야합니다. 회귀분석에서의 가정은 정규성, 등분산성, 독립성입니다. 그런데 독립성은 데이터가 수집되는 과정에서 확인하여야 할 가정이므로 수집된 데이터로 분석이 진행된 상황에서는 확인할 수 없습니다. 그렇기에 여기서는 정규성, 등분산성을 다루고, 추가적으로 영향점이라는 것을 다루도록 하겠습니다.

plot(Reg)

)))

정규성

qqnorm(Reg$residuals)

회귀분석에서 잔차의 정규성을 진단하는 이유는 신뢰구간 추정과 가설검을 정확하게 하기 위해서 진행합니다. 우측 상단에 배치되어 있는 Normal Q-Q를 보면 됩니다. x축은 Theoretical Quantiles이며, y축은 Standardized Residuals입니다. QQ plot은 역확률을 이용하여 두 분포를 비교하는 plot입니다. 여기서는 정규분포와 잔차의 분포를 비교하고 있습니다. 만약 선이 대각선을 따라가는 일직선이라면 그만큼 잔차의 분포는 정규분포와 비슷하다고 볼 수 있습니다. 반대로 선이 대각선과는 멀어지는 곡선 형태라면 그만큼 잔차의 분포는 정규분포와 다르다는 것을 의미합니다.

등분산성

등분산성은 회귀분석에서 매우 중요한 가정 중 하나 입니다. 여기서 등분산의 주체는 오차입니다. 그렇지만 실제 오차를 정량화 할 수 없으니 오차의 추정치로써 잔차를 사용하게 됩니다. 잔차는 추정된 회귀선과 실제 값의 차이입니다. 즉, 등분성을 보는 것은 선과 점 사이의 거리가 패턴이 없이 일정한가를 보는 것과 같습니다.

이를 확인하기 위해 조금 극단적인 예를 보겠습니다.

좌측 산점도와 우측 산점도가 있을 때, 두 산점도에 회귀선을 적합시켜보도록 하겠습니다.

우측의 회귀선은 직관적으로 판단해도 회귀선에 문제가 없습니다. 하지만 좌측 회귀선은 그러지 못합니다. 그 이유는 회귀선과 데이터의 차이(잔차)가 x가 커지면서 같이 늘어나고 있기 때문입니다. 즉, 등분산성을 만족한다고 할 수 없습니다. 이 때는, 회귀선이 데이터를 잘 설명한다고 보기 어렵습니다. 이처럼 회귀분석에서 등분산성이 위배되면 회귀분석은 데이터를 설명하지 못한다고 판단하기 때문에 좋은 회귀선이라고 할 수 없습니다.
좌측의 회귀선에 대한 잔차의 등분산 진단 그래프로 보면 다음과 같은 플롯을 확인할 수 있습니다.

x축은 Fitted value입니다. 즉, $\hat{y_i}$를 의미합니다. y축은 Resiuals($y_i-\hat{y_i}$)을 의미합니다. 잔차가 추정값이 증가함에 따라 증가하는 패턴을 보이고 있습니다. 위에서 말씀드린 것처럼 등분산성을 만족하지 못한다는 것을 알 수 있습니다.
다시 데이터로 돌아와서 위에서 그린 잔차진단 그래프를 확인해보겠습니다. 등분산성은 좌측 상,하 그래프를 보면 됩니다.

좌측은 y축이 Residuals, 우측은 y축이 표준화 잔차값입니다. 이는 또한 설명변수와 반응 값과의 관계를 확인 할 수도 있습니다. 만약 패턴이 존재하지 않는다면 상관 없지만 Fitted value 에 따라 잔차가 특정한 패턴을 보인다면 다른 분석을 고려하거나 설명변수의 변환을 생각해 보아야합니다.

독립성

ggplot(NULL) +
geom_point(aes(x = 1:nrow(Regression), y = Reg$residuals)) +
geom_hline(yintercept = 0, linetype = "dashed",col = 'red') + 
xlab("Index") + ylab("Residuals") + 
theme_bw()

잔차의 독립성이란, 잔차가 ’자기상관(Auto correlation)’이 있는지 없는지 판단하는 것입니다. 우리는 확률변수 및 확률분포를 다룰 때, 모든 확률실험은 독립시행을 했다고 가정을 하였습니다. 이 말은 전 시점에서의 확률실험이 현재의 확률실험에 영향을 주지 못하며, 지금의 확률실험은 미래의 결과에 영향을 주지 못한다는 것입니다. 이를 ’자기상관’이라고 합니다. 대표적으로 주식, 날씨 등이 해당이 됩니다. 만약, 독립성이 위배가 된다면 이 떄는 시계열 분석(Time Series)방법론을 이용하여 회귀분석을 해야 합니다. 검정방법은 매우 간단합니다. Durbin-Watson검정을 하는 방법도 있지만, 잔차들을 시점 순서대로 그래프를 그린다 다음, 패턴이 없다면 독립성을 충족한다고 판단할 수가 있습니다.

영향점

회귀분석과 같은 통계모형에는 영향점이라는 것이 존재합니다. 영향점은 쉽게 설명하면 회귀선을 자기 자신한테 당겨오는 데이터입니다. 즉 회귀선의 무게중심과 멀리 있어, 이에 영향을 준다고 볼 수 있습니다. Cook’s distance라는 값을 계산하여 영향점을 판단합니다. plot에 찍힌 92, 134, 144번째 데이터가 회귀선에 영향을 주고 있음을 나타내고 있습니다. 이 점들은 회귀선을 기울기에 크게 영향을 주어 예측에 왜곡을 줄 수 있습니다. 영향점을 발견하였을 경우, 먼저 영향점에 대한 확인이 필요합니다. 영향점은 일반적인 x와 먼 값을 갖고 있으면서 높은 잔차를 보이므로 우선적으로 x값이 정당한 값인가를 확인해야 합니다. 측정 자체가 잘못되었을 가능성이 있기 때문입니다. 또한 예측에 목적이 있다면 해당 데이터를 제거하고 회귀분석을 진행하는 방법도 고려해야 합니다.

단순 선형 회귀분석의 추정

Doublek Park — Mon, 23 Mar 2020 01:24:59 +0900

10. 단순 선형 회귀분석의 추정

회귀분석 : 인과관계를 가지고 있는 두 변수간의 함수관계를 통계적으로 규명하고자 하는 분석

분산분석과 회귀분석은 선형모형이라는 큰 줄기에서 같은 방법론이라는 말씀을 드린 바 있습니다. 두 모형 모두 예측자(predictor)에 따른 평균 반응값을 추정 혹은 예측하는 모형으로, 주어진 데이터를 통해서 선형 모형을 설정하고 새로운 값에 대한 반응값을 예측하는 것에 그 목적이 있습니다. 예측자란 반응 값을 예측하기 위해 사용되는 것으로 설명 변수(explanatory variable)와 혼용되는 개념으로 이해하시면 될 것 같습니다. 또한 아노바와 회귀모형의 차이점이 있다면 아노바와 달리 회귀분석은 일반적으로 연속형 예측자를 가지고 있는 경우에 사용된다는 점입니다. 회귀분석은 설명 예측자와 반응 값의 수에 따라 단순 회귀분석, 다중 회귀분석 등으로 분류되며 설명 예측자와 반응 값의 관계에 따라 선형 회귀분석, 다항 회귀분석(비선형 회귀분석) 등으로 나누어 집니다. 먼저 선형 회귀분석에 대해 알아보도록 하겠습니다.

일반적인 회귀분석의 가장 핵심 관점은 두 변수간의 관계를 선형적으로 바라보는 것입니다. 그렇기에 관계를 확인하려는 두 변수가 선형적이지 않다면 애초에 성립될 수 없는 것이 회귀분석입니다. 이러한 선형성은 분석 전에 산점도와 같은 그래프를 통해 확인하는 것이 일반적이며 선형 회귀분석 전체를 아우르는 중요한 가정이라고 할 수 있습니다.

회귀분석의 최종 목표는 두 변수 사이의 선형성이 존재한다는 가정하에 그 선형관계를 대표할 수 있는 하나의 직선을 구하는 것입니다. 예를 들어 Y와 X라는 두 변수 사이의 관계가 $Y= a+bX$ 라는 직선으로 대표될 수 있다면, 두 변수 사이의 관계를 한 눈에 알 수 있는 것은 물론이고 새로운 $X$값이 주어졌을 때 $Y$값을 손쉽게 예측할 수 있을 것입니다. 여기서 고민해 보아야 하는 것은 $X ,Y$ 관찰치가 주어졌을 때, 그 관계를 표현하는 $a$ 와 $b$ 를 어떤 방법으로 추정해야 가장 효율적이고 두 변수간의 관계를 정확히 나타낼 수 있을까에 대한 방법론적 문제입니다.

회귀분석에서는 잔차의 제곱합을 최소로 만들어주는 $a$와 $b$를 추정하는 방법을 택하였고 이를 최소제곱 추정법(method of least squares estimation)이라 부릅니다. 여기서 잔차(residual)는 실제 관측값과 예측된 값의 차이를 말하며 그 제곱합을 최소로 한다는 것은 해당 선과 실제 관측값의 차이의 총량을 최소로 하겠다는 것을 뜻합니다. 다음 그림을 참고하면 어렵지 않게 이해하실 수 있을 것입니다.

파란색 직선이 적합된 회귀선이고 검은 점들이 각 관찰치입니다. 이 경우 실제 관찰치와 적합된 회귀선의 차이가 바로 잔차이고 그 제곱은 위와 같이 사격형의 면적으로 표현될 것입니다.

잔차를 그냥 합하면 + / - 가 상쇄되어 의미가 없어지지만, 이런식으로 제곱 후에 총합 이용하면 실제 관찰치와 적합된 회귀선 사이의 차이를 표현해줄 수 있고 이것은 회귀선이 얼마나 관찰치들을 잘 대표하고 있는지에 대한 척도로 생각할 수 있습니다. 이런 관점에서 봤을 때 최소제곱법, 즉, 이 잔차제곱합을 최소화하는 회귀선은 충분히 합리적인 회귀선이라고 볼 수 있을 것입니다.

회귀선의 평가

최소제곱법을 이용하면 어떤 자료에서든 회귀선을 추정할 수 있고, 최소제곱법이 아무리 합리적인 방법이라고 하여도 관찰치들을 절대적으로 잘 대표하는 직선을 항상 제시하지는 못합니다. 그래서 회귀선을 적합시킨 후에는 꼭 그 회귀선이 얼마나 정확한지에 대한 검정을 해주어야 합니다. 이를 회귀선의 적합도 혹은 정도를 평가한다고 하며 분산분석의 아이디어를 그대로 가져와서 진행하게 됩니다.

$Y_i (관찰치)$, $\overline{Y}$(관찰치의 평균), $\hat{Y_i}$(회귀선에 의한 추정값)을 계산한다.
총 편차($Y_i-\overline{Y}$)를 회귀선을 기준으로 두 영역으로 나누어준다.
회귀선에 의해 설명이 가능한 영역 : $\hat{Y_i}-\overline{Y}$
회귀선에 의해 설명이 되지 않은 영역 : $Y_i-\hat{Y_i}$
모든 관찰치에 대해 제곱합을 계산한 후, 직교분해를 한다.

$$
\sum_{i=1 }^n (Y_i - \overline Y)^2 \ = \ \sum_{i=1 }^n (\hat Y_i - \overline Y)^2 \ + \ \sum_{i=1 }^n (Y_i - \hat Y_i)^2
$$
$$
SST \qquad = \qquad SSR \qquad + \qquad SSE
$$

분산분석과 마찬가지로 분산분석표를 작성하여 회귀선의 유의성 검정을 한다.

분산분석과 마찬가지로 회귀선으로 설명하는 상대적인 비중을 나타내는 $MSR$이 모형의 잔차(Error)를 설명하는 $MSE$보다 상대적으로 커야지 회귀선이 유의할 수 있습니다. 이 제곱합을 비교해주기 위해 마찬가지로 $F$분포를 이용합니다.

여기서 많은 분들이 SSE의 자유도를 이해하기 어려워 하십니다. 이는 결정계수($R^2$)와도 관련이 있는 부분인데, 이 부분에 대하여 간단하게 설명하고 넘어가도록 하겠습니다.

자유도는 자유롭게 선택될 수 있는 자료 수로, 온전히 해당 통계량에 대한 정보를 생성하는 데 사용되는 자료 수라고 했습니다. 만약 관찰치가 2개 밖에 없다면 회귀선은 무조건 그 두 점을 지나야 합니다. 그래야 직선이 만들어지기 때문입니다. 이 경우 두 선을 지나는 회귀선을 추정하기만 할 뿐, 그 회귀선을 평가할 자유도는 없습니다. 같은 관점으로 관찰치가 3개라면 2개는 위와 같은 논리로 사용되고 회귀선의 정도를 평가하는 데에는 하나의 관찰치만을 사용하게 될 겁니다. 즉, 기본적으로 회귀선은 2개의 자유도를 차지합니다. 그렇기 때문에 회귀선 정도 평가를 위해 사용되는 $SSE$는 $n-2$의 자유도를 갖게 됩니다.

설명 예측자가 2개 이상인 다중회귀분석에도 그대로 적용됩니다. 예를 들어 2개인 경우 회귀식은 3차원의 좌표공간에서 어떤 평평한 면으로 표현할 수 있습니다. 이 면은 최소한 3개의 점이 있어야 형성될 수 있습니다. 그렇기 때문에 관찰치가 3개인 경우,적합된 회귀식을 무조건 그 세 점을 지나갈 것이며, 회귀식의 정도를 파악하고 싶다면 최소한 4개 이상의 관찰치가 필요합니다.(3개의 점만 있다면 회귀면은 모든 점을 지나갈테고 이는 회귀선 평가에 관해서 아무 의미가 없습니다.) 즉, 이 경우 회귀식은 3의 자유도를 차지합니다. 회귀식 평가를 위한 $SSE$는 n-3의 자유도를 갖게 됩니다.

이를 일반화 하면 SSE는 n-예측자 수-1 가 됩니다. 일반적으로 예측자 수를 k로 표현하니, n-k-1이라고 할 수 있습니다.
이와 같은 이유로 회귀선을 평가하는 데 사용되는 가설과 검정통계량은 다음과 같습니다.

$$
H_0 : 추정된 \ 회귀식은\ 유의하지\ 않다
$$
$$
H_1 : 추정된\ 회귀식은 \ 유의하다
$$

$$
F_0=\frac {SSR/df_R } { SSE/df_E} \sim F (df_R,df_E)
$$

$$
df_R=k \qquad df_E=n-k-1\
$$
$$
n:number\ of\ observations \qquad k:number\ of\ predictors
$$

만약 MSE에 비해 MSR이 상대적으로 큰 값을 가지고 있다면 $F_0$는 높은 값을 갖겠고, 이는 회귀식으로 설명할 수 있는 변동이 그렇지 않은 변동에 비해 크다는 것을 의미합니다. 이 경우 귀무가설을 기각합니다.

*$R^2$ 계산 *

회귀선이 전체 변동 중 설명하는 비중을 회귀선의 설명력, $R^2$라고 합니다.
$$
R^2 = \frac {SSR} {SST} = 1- \frac {SSE} { SST}
$$

이는 결정계수(coefficient of determination, $R^2$)라는 척도로 전체 변동중 회귀선에 의해 설명되는 변동이 차지하는 비중을 표현하는 값입니다. 0과 1 사이의 값을 가지며 '회귀식의 기여율' 이라는 관점으로 해석될 수 있습니다. 이 역시 위의 F검정과 같은 원리이며, 같은 방법으로 회귀선을 평가하는 척도입니다.

회귀모형 설정

회귀모형을 설정해보도록 하겠습니다. 여기서 $X$ 값은 주어진 값으로 취급하므로 오차항 $\epsilon$ 의 분포는 곧 반응값 $Y$의 분포입니다.

$$
Y_{i}=\beta_{0} +\beta_{1}x_{i}+\epsilon_{i}, \epsilon_{i} \sim iidN(0,\sigma^{2})
$$

분산분석에서와 같이 오차항 $\epsilon$에 대한 가정은 곧 회귀분석을 하기 위한 가정이고 $iid \ N$ 에 따라 독립성, 정규성, 등분산성 세 가지 성질을 요합니다.

이 세 가정은 오차항의 추정량인 잔차를 통해 진단되며 잔차가 관찰치에 따라 특정한 패턴을 보이거나 커졌다 작아졌다 하는 양상을 보인다면 독립성, 등분산성을 의심해보아야 하며 잔차의 히스토그램을 그려보거나 관련 검정을 통해 정규성을 만족하는지에 대해 확인해 보아야 합니다.

또한 실제 데이터를 기지고 추정한 회귀식은 다음과 같이 표현합니다.

$$
\hat Y_i = b_0 + b_1 X_i
$$

절편 $b_0$ 는 예측자가 0의 값을 가질 때의 반응 값을 의미하며 초기값을 나타냅니다. 기울기 $b_1$은 예측자가 가지고 있는 반응값에 대한 단위 당 영향도를 의미합니다. 기울기가 양의 값을 갖고 있다면 예측자가 증가할수록 반응 값 역시 증가할 것이며 음의 값을 갖는다면 예측자의 증가에 따라 반응 값은 감소할 것입니다. 또한 절댓값이 클수록 그 영향이 크다는 것을 의미합니다.

이 영향도 역시 유의한지 검정을 진행할 수 있습니다. 이를 회귀계수의 검정 혹은 회귀식의 기울기 검정이라고 합니다. 기울기 검정은 $t$분포를 이용하게 됩니다. 만약 정규성의 가정이 만족하면, 회귀계수는 $t$분포를 따르기 때문이죠. 회귀계수가가 0인가를 확인하는 검정은 해당 설명변수가 반응 값에 영향을 미치는지 아닌지를 확인 하는 것과 같습니다. 여러 설명변수가 포함된 모형에서도 진행할 수 있으며, 마찬가지로 각 변수의 독립적인 영향력을 평가하게 됩니다.

$$
H_0:\beta_1=0 \qquad 회귀계수는\ 0이다.
$$
$$
H_1:\beta_1\neq0\qquad 회귀계수는\ 0이\ 아니다.
$$

상관분석 (R code)

Doublek Park — Mon, 23 Mar 2020 01:22:18 +0900

상관분석에서 주의할 점은 상관분석은 단순히 두 변수 간의 선형 관계를 파악하는 것뿐입니다. 즉 이 말은 비선형관계는 상관계수로 잡아내기 힘들 수가 있습니다. 다음의 예시를 통해 알아보도록 하겠습니다.

library(ggplot2)
x1 = runif(n = 100,min = -10, max = 10)
y = x1 * 10 + rnorm(n = 100, mean = 3, sd = 5)

ggplot() +
  geom_point(aes(x = x1, y= y),size = 3) +
  geom_text(aes(x = 5, y = -30),label = round(cor(x1,y),4)) +
  theme_bw()

위 두 변수는 산점도로 보나, 상관계수로 보나 거의 1에 가까운 상관계수를 가지고 있습니다. 이는 두 변수의 관계를 하나의 선으로 표현할 수 있다는 의미와 같습니다. 그렇다면 상관분석 검정을 해보도록 하겠습니다.

cor.test(x1,y)


    Pearson's product-moment correlation

data:  x1 and y
t = 113.5, df = 98, p-value < 2.2e-16
alternative hypothesis: true correlation is not equal to 0
95 percent confidence interval:
 0.9943742 0.9974582
sample estimates:
      cor 
0.9962179

p−valuep−value가 매우 낮은 것을 확인할 수 있습니다. 귀무가설을 기각할 수 있으며, 두 변수의 상관계수는 0이 아니라는 결론을 내릴 수가 있습니다.

y = x1^2 + x1 * 10 + rnorm(n = 100, mean = 3, sd = 5)

ggplot() +
  geom_point(aes(x = x1, y= y),size = 3) +
  geom_text(aes(x = 0, y = 100),label = round(cor(x1,y),4)) +
  theme_bw()

두번째 산점도에서는 선형보다는 2차 함수꼴의 관계를 가지고 있습니다. 또한 상관계수가 0.8 ~ 0.9로 낮아진 것을 확인할 수 있습니다. 여전히 높은 값인 것은 맞지만 선형관계가 아니기에 상관계수가 감소를 하였습니다. 하지만, 그렇다고 저 두 변수의 상관도가 낮아졌다고 판단하기는 힘듭니다. 선형 관계가 아닐 뿐이지, 비선형 관계는 그대로 유지하고 있습니다.

y = sin(x1) + rnorm(n = 100, mean = 3, sd = 0.3)

ggplot() +
  geom_point(aes(x = x1, y= y),size = 3) +
  geom_text(aes(x = 0, y = 5),label = round(cor(x1,y),4)) +
  theme_bw()

이번 산점도는 상관계수가 매우 낮게 나오는 것을 확인할 수 있습니다. 근데, 그렇다고 상관이 없다고 할 수 없습니다. 산점도에는 뚜렷히 삼각함수 sin(x)꼴의 관계를 가지고 있는 것을 확인할 수 있기 때문입니다. 이렇게 상관분석은 정말 편한 분석이지만, 그렇다고 만능인 분석이 아닙니다. 저는 개인적으로 상관계수를 구하기 보다는 산점도를 직접 봄으로써 변수의 상관정도를 파악하고, 이러한 방법이 더 정확합니다.

상관분석

Doublek Park — Mon, 23 Mar 2020 01:20:43 +0900

만약 두개의 변수 간 관계를 분석하고 싶은 경우, 우리는 종종 상관계수(correlation)이란 것을 구하고는 합니다. 너무 유명한 용어라서, 상관계수의 정확한 의미는 알지 못하더라도, 상관계수가 대충 어떤 것인지는 많은 사람들이 알고 있습니다. 한번 개념을 정립하고 넘어가도록 하겠습니다.
먼저, 상관분석이란 두 변수의 관계에서 하나의 변수가 증가하면, 다른 하나의 변수도 증가하는지 혹은 감소하는 경향이 있는지 확인을 하기 위해 분석을 진행합니다. 우리는 그러한 경향을 확인하기 위해 공분산(Covariance)이라는 값을 계산합니다.

공분산과 상관계수

$$
COV[X,Y] = E[(X- \overline X)(Y- \overline Y)]
$$
이렇게 계산을 하면, X와 Y의 상관관계를 계산할 수가 있습니다. 하지만, 한가지 문제가 존재합니다. 공분산은 변수의 단위에 따라 범위가 무한대까지 확장됩니다. 즉, 변수가 바뀌면 공분산의 단위도 바뀌기 때문에 비교하는 값으로 확인하기에는 문제가 존재합니다. 이러한 문제점을 해결하기 위하여 공분산에 두 변수의 분산을 나누어줍니다. 그러면 공분산은 -1 ~ 1의 변수의 단위에 상관 없이 일정한 범위를 가지는 상관계수(Correlation)로 변환이 됩니다.

$$
Corr[X,Y] = \frac{COV[X,Y]}{VAR[X]\ VAR[Y]}
$$

$$
-1 \leq Corr[X,Y] \leq 1
$$

해석방법은 매우 간단합니다. 상관계수가 1에 가까울 수록 강한 긍정관계를 가지고 있는 것이고 -1에 가까울 수록 강한 부정관계를 가지고 있습니다. 만약 0에 가까울 경우, 두 변수는 관계가 없다고 해석할 수가 있습니다.

상관분석

상관분석이란, 두 변수 간의 상관관계가 0인지 아닌지 확인을 하는 통계적 검정방법입니다. 따라서 귀무가설과 대립가설은 다음처럼 세울 수가 있습니다.

$$
H_0: \rho=0
$$
$$
H_1: \rho \neq 0
$$