[19강] 기계 학습을 위한 데이터 수집

1. 소개

1) 기계 학습과 데이터 수집의 관계

- 기계 학습은 컴퓨터 시스템이 데이터로부터 학습하고 패턴을 파악하여 작업을 수행하는 기술

- 이때, 데이터는 모델이 학습하는 데 필수적인 자료로 작용하며, 모델의 성능과 정확성은 사용된 데이터의 양과 품질에 크게 의존

2) 데이터 수집이 기계 학습에서 중요한 이유

- 데이터는 기계 학습 모델을 훈련시키는 데 필요한 원시 자료로서, 양질의 데이터를 갖추지 않으면 모델의 성능이 향상 불가

- 다양하고 풍부한 데이터를 수집함으로써 다양한 상황에서 유연하게 대응 가능

- 효과적인 데이터 수집은 모델의 일반화 성능을 향상시키고, 예측의 신뢰성을 향상시킴

- 데이터 수집은 기계 학습 프로세스에서 핵심적인 부분을 차지하며, 모델의 품질과 성능을 높이는 핵심적인 단계로 간주됨

2. 데이터 수집의 중요성

1) 데이터의 역할과 중요성

① 학습의 원료

- 데이터는 기계 학습 모델의 학습 과정에서 필요한 원시 자료

- 모델이 예측을 수행하고 패턴을 학습하기 위한 중요한 자원

② 다양성과 대표성

- 다양한 데이터를 수집함으로써 모델은 다양한 상황에서 일반화되고 적용될 수 있음

- 대표성 있는 데이터 수집은 모델이 실제 환경에서도 효과적으로 작동할 수 있도록 보장

2) 데이터 수집이 기계 학습 성능에 미치는 영향

정확성과 신뢰성	- 풍부하고 정확한 데이터를 수집함으로써 모델의 학습이 더욱 정확하게 이루어질 수 있음 - 이는 모델의 예측 성능과 신뢰성을 향상시킴
과적합 방지	- 충분한 양의 다양한 데이터를 수집함으로써 모델이 특정 데이터에 지나치게 적응되어 과접합 되는 것을 방지
모델의 일반화	- 데이터 수집이 잘 이루어질수록 새로운 데이터에 대한 일반화 능력을 향상시켜 미래의 예측에서도 더욱 효과적으로 사용

⭐ 데이터 수집은 기계 학습의 핵심이며, 모델의 품질과 성능에 직접적인 영향을 미치는 핵심적인 단계로 간주됨

3. 데이터 수집 방법

1) 수동 수집 vs 자동 수집

수동 수집	자동 수집
사람이 직접 데이터를 수집하는 방법	컴퓨터 또는 기계가 자동으로 데이터를 수집하는 방법
- 조사, 설문, 관찰 등을 통해 진행 - 인간의 주관적인 해석이 개입될 수 있으며, 대량의 데이터 수집에는 비효율적일 수 있음	- 웹 크롤링, 센서 데이터 수집, API를 활용한 방법 등 - 효율적이고 대량의 데이터를 빠르게 수집할 수 있으며, 반복적이고 정확한 데이터 수집 가능

2) 크롤링, 스크래핑, API를 활용한 데이터 수집

크롤링 (Crawling)	-  웹 상의 페이지를 주기적으로 돌며 데이터를 수집하는 기술 - 크롤러가 웹 페이지를 방문하고 필요한 정보를 추출하는 과정
스크래핑 (Scraping)	- 웹 페이지에서 필요한 정보를 추출하는 과정 - 웹 페이지의 HTML을 파싱하여 필요한 데이터를 추출하는 기술
API (Application Programming Interface)	- 외부 시스템과 소프트웨어를 연결하는 인터페이스 - 데이터 수집을 위해 외부 시스템에서 제공하는 API를 활용할 수 있음 - 공개된 AI를 통해 데이터를 요청하고 응답을 받아오는 방식으로 데이터를 수집 - 다양한 데이터 수집 방법을 조합하여 특정 목적에 맞는 데이터를 효과적으로 수집하는 것이 중요

4. 데이터 품질 평가

1) 데이터 품질 평가의 중요성

- 품질이 낮은 데이터는 모델의 정확성과 일반화 능력을 저하시킬 수 있는 등, 데이터 품질은 기계 학습 모델의 성능에 직접적인 영향

- 올바르고 신뢰성 있는 데이터를 사용하는 것은 모델의 신뢰도를 높이고, 예측의 신뢰성을 보장하는 것이 중요

2) 라벨링과 정확성 평가

라벨링 (Labeling)	- 데이터셋의 각 데이터에 대한 정확한 라벨 또는 태그를 부여하는 과정 - 라벨링 정확하지 않으면 모델이 올바르게 학습되지 못하므로 정확한 라벨링이 중요
정확성 평가	- 데이터의 정확성을 평가하는 과정이며, 라벨링된 데이터의 정확성, 일관성, 완전성 등을 평가 - 모델이 학습할 수 있는 우수한 품질의 데이터셋을 구축할 수 있음

데이터 품질 평가는 데이터 수집 단계에서부터 지속적으로 이루어져야 하며, 정확하고 신뢰성 있는 데이터를 확보하는 것이 모델의 효과적인 학습과 성능 향상으로 연결됨

5. 데이터 수집 도구와 플랫폼

1) 데이터 수집을 위한 주요 도구 소개(웹 스크래퍼, 데이터 크롤러)

웹 스크래퍼 (Web Scrpaer)	- 웹 사이트에서 정보를 추출하는 도구로, HTML 또는 API를 통해 웹 페이지에서 데이터를 수집 - 웹 크롤링을 통해 대량의 데이터를 효율적으로 수집
데이터 크롤러 (Data Crawler)	- 웹 상에서 자동으로 데이터를 수집하는 소프트웨어로, 다양한 웹 사이트를 돌며 정보를 수집하고 저장 - 크롤러는 정적 및 동적 웹 페이지에서 데이터를 추출할 수 있음

2) 데이터 수집 플랫폼의 활용

빅데이터 플랫폼	- Apache Hadoop, Apache Spark와 같은 빅데이터 플랫폼은 대규모 데이터를 효율적으로 수집하고 처리하는 데 사용 - 분산 환경에서 대용량 데이터 처리를 지원하여 기계 학습에 적합한 데이터를 생성
클라우드 기반 플랫폼	- AWS, Google Cloud, Microsoft Azure등의 클라우드 플랫폼은 다양한 데이터 수집 서비스 제공 - 스케일링과 관리 편의성을 제공하여 데이터 수집 프로세스를 최적화

⭐ 도구와 플랫폼을 활용하면 다양한 소스에서 데이터를 효율적으로 수집할 수 있으며, 기계 학습 모델을 학습시키기 위한 다양한 데이터를 확보 가능

6. 빅데이터와 데이터 레이크

1) 빅데이터의 개념과 특징

▮ 빅데이터의 정의

- 빅데이터는 기존 데이터 관리 도구로 처리하기 어려운 정형 및 비정형 데이터의 대규모 집합

- 이 데이터는 다양한 소스에서 실시간 또는 배치로 생성되며, 볼륨, 다양성, 속도가 높은 특징이 있음

▮ 빅데이터의 특징

볼륨 (Volumne)	대량의 데이터를 다루는데 있어 빅데이터는 기존 데이터베이스 시스템으로 처리하기 어려운 정도의 규모
다양성 (Variety)	다양한 종류의 데이터 형식을 포함하고 있어 텍스트, 이미지, 오디오, 비디오 등 다양한 형태의 데이터
속도 (Velocity)	데이터가 빠르게 성장하고, 이를 실시간으로 처리할 수 있음

2) 데이터 레이크의 역할과 활용

▮ 데이터 레이크의 정의

- 데이터 레이크는 다양한 소스에서 대규모의 빅데이터를 저장하는 시스템

- 데이터를 raw(가공되지 않은 형태)로 저장하여 필요에 따라 가공 및 분석할 수 있음

▮ 데이터 레이크의 역할

유연한 저장소	다양한 형식과 크기의 데이터를 저장하며, 스키마가 없거나 유연한 스키마를 채택하여 데이터의 빠른 적재와 검색을 지원
실시간 및 배치 처리	데이터 레이크는 실시간 및 배치로 데이터 처리를 지원하여 실시간 분석 및 기계 학습에 활용
다양한 데이터 활용	데이터 레이크에서는 데이터를 필요에 따라 가공하여 다양한 용도로 활용 가능

▮ 데이터 레이크의 역할과 활용

- 빅데이터와 데이터 레이크는 기계 학습을 위한 다양한 데이터를 수집하고 저장하는 데 중요한 역할

- 데이터 레이크는 빅데이터의 특징을 적극적으로 활용하여 기계 학습 모델에 필요한 다양한 데이터를 관리하고 분석하는 데 기여

7. 윤리적 고려사항

1) 개인 정보 보호와 데이터 수집의 윤리적 측면

정보 투명성	- 데이터 수집 시에는 개인들에게 수집 목적, 사용 방법, 보관 기간 등을 명시하고 설명해야 함 - 특히 민감한 개인 정보의 수집일 경우에는 보다 상세한 설명 필요
동의 및 권한	- 데이터 수집은 개인의 동의 하에 이루어져야 하며, 사용자에게 데이터 수집에 대한 명시적이고 자유로운 동의가 필요하고, 미성년자나 민감한 정보의 경우에는 법적인 권한이 필요할 수 있음
데이터 익명화	- 민감한 정보를 식별할 수 없도록 적절한 익명화 및 기술적 보호를 통해 개인 정보 보호가 필요

2) 공정하고 투명한 데이터 수집의 필요성

알고리즘 공정성	- 데이터 수집에 사용되는 알고리즘은 공정하고 편향에서 자유로워야함 - 특정 집단이나 개인에 대한 편향이 없도록 알고리즘을 설계하고 검증 필요
다양성 고려	- 다양한 인종, 성별, 연령 등 다양한 데이터 수집을요함 - 특정 그룹이나 개인에 대한 차별을 방지하고 모델의 일반화 능력을 향상시키기 위해 다양성이 중요

⭐ 윤리적인 데이터 수집은 개인의 개인 정보 보호를 존중하고, 알고리즘의 공정성을 유지하여 모든 사용자에게 공평한 서비스를 공하는데 도움된다. 그리고 신뢰성 있는 기계 학습 모델을 구축하고 유용한 인사이트의 확인이 가능하다.