[11강] 데이터 전처리와 정제

1. 소개

1) 데이터 전처리와 정제의 개념

▪ 수집된 데이터를 분석에 적합한 형태로 가공하고 정리하는 과정

▪ 데이터 과학 및 기계 학습 프로젝트에서 핵심적인 단계 중 하나

2) 데이터 전처리가 중요한 이유

▪ 데이터는 불완전하거나 노이즈가 포함되어 있음.

▪ 전처리는 이러한 문제들을 해결하고 데이터의 품질을 향상시켜 정확하고 신뢰성 있는 분석을 하도록 하는 전 단계 작업

▪ 잘 처리되지 않은 데이터는 모델의 성능저하는 물론 예측이나 결정에 오류가 발생 가능

2. 데이터 수집과 이해

1) 데이터 수집의 중요성과 목적

▪ 데이터 수집은 데이터 과학 및 기계 학습 프로젝트의 출발점

▪ 다양하면서도 정확한 데이터를 수집하는 것이 분석 및 모델링의 성공에 결정적 역할

▪ 올바른 데이터 수집은 모델이 현실을 잘 반영하도록 하여, 목표에 맞게 설계된 데이터 수집 과정은 결과물의 신뢰성을 향상시킴.

2) 수집된 데이터의 구조와 특성 파악

▪ 수집된 데이터의 구조와 특성을 이해하는 것은 데이터 전처리의 기반이 됨.

▪ 데이터의 형태, 변수의 종류, 결측치 여부 등을  파악하여 어떤 전처리가 필요한지 결정할 수 있음.

3) 데이터의 종류와 형식에 대한 이해

데이터는 정형, 반정형, 비정형 데이터로 구분되며, 다양한 형식으로 구성됨.

▪ 정형 데이터: 표 형태

▪ 반정형 데이터: 구조화되지 않았지만, 일부 구조가 있는 데이터

▪ 비정형 데이터: 구조가 없는 데이터

→ 각 형식에 따라 다른 처리 방법 필요

3. 데이터 클리닝 

1) 누락된 데이터 처리

▪누락된 데이터는 분석에 부정적인 영향

▪전처리 단계에서는 누락된 데이터를 식별하면서 적절한 처리 방법을 선택해야 함.

▪ 이를 위해 평균값, 중간값, 혹은 주변 데이터의 값으로 대체하는 등의 다양한 방법이 있음.

2) 중복된 데이터 처리

▪분석 결과를 왜곡시킬 수 있으며, 효율적인 분석을 위해 제거 필요

▪중복 여부를 확인하고 중복된 데이터 중 어떤 것을 유지할지 결정하는 과정 필요

3) 이상치(outliers) 탐지와 처리

▪ 이상치는 일반적인 패턴에서 벗어난 데이터

▪ 모델의 성능을 왜곡시킬 수 있음.

▪이상치의 탐지 및 처리 방법은 통계적인 방법, 시각화를 활용한 방법, 특이값을 대체하는 등 다양한 기법이 있음.

▪처리 방법은 데이터의 특성과 목적에 따라 다를 수 있음.

4. 데이터 변환

1) 범주형 데이터의 수치화

▪ 머신 러닝 모델은 수치형 데이터를 입력으로 받기에 범주형 데이터는 수치화하는 작업 필요

▪ 이를 위해 원-핫 인코딩, 레이블 인코딩 등의 기법을 활용하여 범주형 데이터를 수치형으로 변

2) 피처 스케일링과 정규화

▪다양한 피처(특성)들이 갖는 값의 범위가 다를 경우, 모델의 학습에 영향

▪피처 스케일링과 정규화를 통해 각 피처의 범위를 일정하게 조정하여 모델이 더 잘 수렴하도록 한다.

3) 시계열 데이터의 변환

▪시계열 데이터는 시간에 따라 변화하는 데이터이며, 보통 정렬되어 표현

▪시간 관련 특성을 고려하기 위해 데이터를 시간 기반의 피처로 변환하거나, 주기성이 있는 경우 주기성을 강조하는 등의 작업 필요

5. 데이터 결합과 분할

1) 여러 데이터셋의 결합

▪ 데이터 분석을 위해 여러 소스에서 나온 데이터셋을 통합해야 할 때가 있음.

▪ 데이터의 공통 키를 활용하여 데이터를 결합, 적절한 방식으로 병합하는 과정 필요

▪ 데이터베이스의 JOIN 연산, 파이썬의 pandas와 같은 라이브러리를 사용하여 데이터를 효과적으로 결합할 수 있음.

2) 데이터 샘플링과 분할

▪대규모 데이터셋에서 일부만 사용하거나, 훈련 데이터와 테스트 데이터로 분할하는 것은 일반적인 전처리 단계

▪무작위 샘플링, 계층적 샘플링 등 다양한 방법으로 데이터를 선택하고, 학습 및 테스트용으로 적절히 분할하는 작업 필요

3) 데이터 분할의 목적과 방법

▪ 데이터 분할은 주로 모델의 성능을 평가하기 위해 학습 데이터와 테스트 데이터로 나누어 사용

▪ 모델이 새로운 데이터에 대해 얼마나 일반화되는지 평가할 수 있음. 

▪ K-fold 교차 검증 등의 방법을 사용하면, 데이터가 여러 부분으로 나누어지며, 이 각 부분에 대한 모델 성능을 평가하기도 함.

6. 데이터 품질 평가

1) 데이터의 품질을 평가하는 지표

▪데이터 품질은 정확성, 일관성, 완전성, 유효성 등의 다양한 측면으로 평가 

▪데이터의 누락, 이상치, 중복 등을 확인하고, 데이터의 품질을 측정하는 지표를 도입하여 평가

2) 데이터 일관성과 정확성 평가

▪데이터의 일관성: 동일한 데이터 요소가 서로 다른 방식으로 표현되지 않도록 하는 것

▪ 데이터의 정확성: 데이터가 실제로 나타내야 하는 값을 정확하게 반영하는 것

이를 위해 데이터의 중복, 불일치 등을 확인하는 등의 정확성을 높이기 위한 작업 필요

3) 데이터 품질 개선을 위한 전략

▪ 데이터 품질을 개선하기 위해서는 데이터 수집 단계부터 충분한 주의가 요구됨.

▪ 품질이 좋지 않은 데이터를 제거하거나 보완하는 작업, 누락된 데이터를 예측하여 보완하는 작업 등이 필요

▪ 또한, 데이터 품질 관리를 위한 품질 체크포인트를 도입하여 지속적으로 모니터링하고 개선하는 전략 필요

7. 응용 사례

1) 다양한 산업 분야에서의 데이터 전처리 응용 사례

의료 분야	환자 기록의 정리와 불완전한 데이터 처리가 중요
금융 분야	사기 탐지를 위한 이상치 검출과 관련된 전처리 필요
제조업	센서 데이터의 정제와 특징 추출이 품질 향상에 기여

2) 전처리가 모델 성능에 미치는 영향 예시

▪ 모델의 성능은 데이터 전처리 단계에서 많은 영향을 받게 되며, 불필요한 노이즈나 이상치를 처리하지 않으면 모델은 잘못된 학습으로 부정확한 결과를 반환한다.

▪또한, 특징의 스케일이 다를 경우, 일부 특징이 과도하게 모델에 영향을 주게 되므로 특징 스케일링이 필요하다.

▪적절한 전처리를 통해 모델이 높은 정확도와 일반화 성능을 보이도록 할 수 있다.

8. 미래 전망

1) 대용량 데이터와 전처리의 도전

▪ 대용량 데이터는 다양한 형태와 속성을 가지고 있어 효율적인 전처리가 요구된다.

▪데이터의 양이 증가함에 따라 전처리 작업이 더 복잡해지고, 처리 시간이 증가한다.

▪따라서 분산 및 병럴 처리 기술을 활용하여 대용량 데이터의 효율적인 전처리 방법이 필요하다.

2) 자동화된 데이터 전처리 기술의 발전과 전망

▪ 자동화된 데이터 전처리 기술은 인공지능 및 머신러닝 발전으로 더욱 강화 

▪자동화된 품질 평가, 누락된 데이터 보완, 이상치 탐지와 처리 등이 머신러닝 알고리즘을 통해 자동으로 이루어지는 추세

▪이러한 자동화 기술은 전처리의 효율성을 높이고, 데이터 과학자 및 엔지니어들이 보다 복잡한 분석에 집중할 수 있게 도와줄 것으로 전망