[5강] 회귀 분석: 데이터 예측을 위한 기본 원리

1. 소개

1) 회귀 분석의 개념 

▪ 회귀 분석은 변수 간의 관계를 모델링하여, 종속 변수를 예측하는 통계적 방법이다.

▪ 데이터 간의 패턴을 파악하여 미래 값을 예측하는데 사용한다.

2) 회귀 분석의 중요성 및 실생활에서의 활용 예시

▪ 회귀 분석은 경제학, 금융, 마케팅, 공학 등 다양한 분야에 활용한다.

ex) 주택 가격 예측, 매출 예측, 성적 예측 등 다양한 실제 문제에 대한 해결에 기여한다.

2. 회귀 분석의 기본 개념

1) 회귀 분석의 정의와 목적

▪ 회귀 분석은 종속 변수와 독립 변수 간의 관계를 모델링하여, 독립 변수 값이 주어졌을 때 종속 변수 값을 예측하는 통계적 기법이다.

2) 종속 변수와 독립 변수의 개념 설명

▪종속 변수: 예측하려는 변수

▪독립 변수: 예측에 사용되는 변수, 회귀 분석은 독립변수들의 변화에 따른 종속 변수의 변화를 설명하는 것

3) 선형 회귀와 비선형 회구의 차이

▪선형 회귀는 종속 변수와 독립 변수 간의 관계를 선형 함수로 모델링하는 것

▪비선형 회귀는 선형이 아닌 함수로 모델링하는 것

3. 선형 회귀

1) 선형 회귀 모델의 기본 가정

선형 회귀: 독립 변수와 종속 변수 간에 선형 관계가 있다고 가정(잔차의 정규성, 독립성, 등분산성 등의 가정 필요)

2) 최소 제고법을 이용한 파라미터 추정

최소 제곱법은 잔차의 제곱합을 최소화하는 방법 → 모델의 파라미터를 추정하는 데 사용

3) 회귀 계수의 의미와 해석

회귀 계수는 독립 변수의 단위 변화에 따른 종속 변수의 변화를 표현, 이를 통해 각 독립 변수의 영향력을 해석 가

4. 다변량 회귀

1) 다변량 회귀의 개념

여러 개의 독립변수가 종속 변수에 영향을 미치는 경우를 다루는 회귀 분석의 확장.

2) 여러 독립 변수를 포함하는 모델의 구성

다변량 회귀에서는 여러 독립 변수들을 고려하여 모델을 구성(각 변수의 중요성을 고려하여 모델을 구성해야 한다.)

3) 다변량 회귀의 예시와 응용

다변량 회귀는 현실적인 다양한 상황에서 사용

ex) 온라인 광고 비용과 매출 간의 관계 예측 등에 활용

5. 회귀 분석의 평가 지표

1) 평균 제곱 오차(MSE)와 평균 절대 오차(MAE) 설명

▪ MSE와 MAE는 모델의 예측값과 실제값 간의 차이를 측정하는 지표

▪ 작을 수록 모델이 성능이 좋다고 판단

2) 결정 계수(R-squared)의 개념과 해석

▪ 결정 계수는 종속 변수의 변동 중 모델로 설명 가능한 부분의 비율을 의미

▪ 1에 가까울수록 모델의 설명력이 높다고 판단

3) 회귀 모델의 성능 평가 방법 소개

① 평균 제곱 오차(Mean Squared Error, MSE)

MSE는 예측 값과 실제 값 사이의 제곱 오차를 평균한 값

MSE 수식 / 오차를 제곱하기 때문에 큰 오차에 민감하게 반응

② 평균 절대 오차(Mean Aboslute Error, MAE)

MAE는 예측 값과 실제 값 사이의 절대값 오차를 평균한

MAE 수식 / MAE는 오차의 크기에 대한 민감도가 적어 MSE보다 이상치에 둔

③ R²(결정 계수, Coefficient of Determinataion)

R²는 예측 값이 종속 변수의 분산을 얼마나 잘 설명하는지를 나타내는 지표

R² 값이 1에 가까울수록 모델이 데이터를 잘 설명한다는 것을 의미

④ 평균 제곱근 오차(Root Mean Squared Error, RMSE)

RMSE는 MSE의 제곱근이며, 예측 값과 실제 값 사이의 평균 제곱 오차를 나타냄.

 

6. 비선형 회귀와 과적합

1) 비선형 회귀의 필요성 설명

◾ 비선형 회귀는 데이터가 선형 관계를 따르지 않을 때 필요하다

◾ 복잡한 패턴의 모델링이 가능하다

2) 다항 회귀와 시그모이드 함수를 활용한 예시

◾ 다항 회귀는 다항식 함수를 사용하여 비선형 관계를 모델링한다

◾ 시그모이드 함수는 로지스틱 회귀와 같이 이진 분류 문제에 활용한다.

3) 과적합 문제와 해결 방법 간단 소개

◾ 과적합은 모델이 학습 데이터에 너무 적합하여 새로운 데이터에 대한 일반화 성능이 떨어지는 문제이다.

◾ 규제 기법 등을 활용하여 해결가능하다.

7. 실제 응용 사례

1) 부동산 가격 예측을 위한 회귀 분석

◾ 회귀 분석은 주택 가격에 영향을 미치는 다양한 요소를 고려하여 부동산 시장을 예측하는데 활용한다.

2) 매출 예측을 위한 회귀 분석 응용 사례

◾ 기업은 마케팅 비용, 제품 가격 등의 독립 변수를 활용하여 매출을 예측하고 전략을 수립하는데 회귀 분석을 활용한다.

3) 기타 산업 분야에서의 회귀 분석 활용 사례

◾ 각 산업 분야에서는 자체적인 독립 변수와 종속 변수를 가지고 다양한 문제에 대한 회귀 분석을 활용한다.