[ADsP - 데이터 분석] 결측치·이상치 탐지 & 처리, 스케일링, 피처엔지니어링
3-2 데이터 전처리 결측치·이상치 처리부터 피처엔지니어링까지, 데이터 전처리 핵심 가이드여러분, 혹시 이런 경험 있으신가요? 분석할 데이터를 받아서 딱 열어봤는데, 셀에 아무 값도 없거나, 갑자기 말도 안 되는 숫자들이 튀어나오는 경우요. 😨 그냥 넘어가면 안 될 것 같은데, 어디서부터 손대야 할지도 모르겠고… 이거, 다들 한 번쯤은 겪어봤을 거예요. 데이터 분석이라는 건 깨끗한 데이터에서 시작돼요. 아무리 좋은 알고리즘을 써도, 데이터가 엉망이면 결과는 믿을 수 없거든요. 그래서 우리는 분석 전에 반드시 ‘전처리’라는 과정을 거치게 됩니다. 이 글에서는 ADsP 시험에서 자주 등장하는 전처리 주제, 특히 결측치 탐지 및 처리, 이상치 제거, 스케일링, 피처 엔지니어링까지 핵심 내용을 전부 정리해볼게..
2025. 5. 18.
[ADsP - 데이터 분석] 외부 데이터 수집/정제, 데이터 마트 설계·ETL
3-1 R 프로그래밍 기초 & 데이터 마트 외부 데이터 수집과 정제, 데이터 마트 설계 및 ETL 완전 정복데이터 수집부터 정제, ETL까지, 도대체 어디서부터 어떻게 시작해야 할까요?솔직히 말하면, 저도 처음엔 'ETL'이라는 단어를 들었을 때 머릿속이 새하얘졌습니다. 하지만 하나씩 개념을 쌓고 나니, 외부 데이터를 수집하고, 정제하고, 원하는 형태로 가공하는 이 전체 과정이 얼마나 논리적이고 강력한지 새삼 느끼게 되더라고요. 특히 ADsP 자격증을 준비하시는 분들이라면 외부 데이터 수집·정제, 데이터 마트 설계, ETL이 시험에서도 실무에서도 얼마나 중요한 파트인지 절실히 느끼실 거예요.이번 글에서는 ADsP 출제 기준을 바탕으로 외부 데이터 수집 방법부터 데이터 정제 기법, 그리고 데이터 마트 설계..
2025. 5. 17.
