250912 - 데마분 Ch1 복습

Introduction

데이터의 모이는 양은 폭발적으로 증가

데이터 수집 및 저장 기술의 급속한 발전에 의해 촉발

이런 대규모 데이터로부터 실행 가능한 insight 도출

사회의 모든 영역의 의사결정에서 사용 중 (ex. 비즈니스, 산업, 과학, 공학, …)

but. 데이터는 분석하기에 너무 많아졌다!!!

• 3V : volume, velocity, variety

⇒ 큰 데이터로부터 유용한 정보를 추출하는 기술이 몹시 필요

 

Data mining

큰 데이터셋으로부터 유용한 정보를 추출하는 과정

전통적인 데이터 분석 방법과 큰 데이터를 처리하기 위해 정교한 알고리즘을 결합

ex. Business and Industry

• 판매 시점 데이터 분석
• 자동 판매, 구매
• 고객 프로파일링
• 타겟 마케팅
• 스토어 구조
• 불량품 탐지…
• 누가 가장 돈을 많이 쓸까?
• 어떤 상품을 교차 판매 or 상향 판매할 수 있을까?
• 회사의 내년 매출 전망은?

많은 양의 데이터가 인터넷에 존재

웹 브라우징, 온라인 쇼핑, 메시지, 소셜 미디어 업로드…

이런걸로 상품 추천, 스팸 필터링, 친구 추천 등 가능

 

모바일 센서 & 디바이스 또한 많은 양의 데이터를 생성

물리적 세게에 대한 많은 정보

스마트폰, 웨어러블 디바이스, 물리적 센서를 통해 수집

이런걸로 스마트 홈 디자인, 스마트 시티 계획 등 가능

 

ex, Science and Engineering

Large science data

인공위성으로부터 수집한 지구 데이터, 방대한 양의 유전체 데이터, 전기적 건강 기술 데이터

 

💡The process of automatically discovering useful information in large data

⇒ 큰 데이터로부터 의미있는 정보를 발견하는 과정

알려지지 않은 채로 남은 새롭거나, 유용한 패턴을 발견하는 것

 

모든 정보 발견 task 가 데이터마이닝은 아니다!

데이터베이스 시스템으로부터 간단한 질문, 인터렉션도 가능하다

 

데이터 덩어리로부터 지식을 발견하는 아주 필수적인 부분

 

The Process of KDD

1. Input Data : 컨트롤 불가 영역
2. Data Preprocessing : 전처리 (데이터를 맞춰주거나 / 더 잘 돌아가게 도와줌)
   날것의 입력 데이터를 분석을 위해 적절한 형태로 변환

• Feature Selection : 엉뚱한거 학습하면 x
• Dimensionality Reduction : 차원 압축
• Normalization : 정규화
• Data Subsetting : 샘플링

ex. 다양한 출처로부터 쪼개진 데이터 결합, 노이즈나 중복 제거, 관련 있는 행만 고르기

⇒ 가장 힘들고 시간이 많이 걸리는 단계

 

   3. Data Mining : 내가 하려고 하는 task 에 맞게

   4. Postprocessing : 데이터마이닝 알고리즘의 결과를 다시 한 번 정리

유효하고 유용한 결과만 의사 결정 지원 시스템에 통합되도록 하는 과정

• Filtering patterns : 모든 결과가 의미있는건 x
• Visualization : 시각화
• Pattern Interpretation : 어떤 요소가 가장 중요한가?

⇒ 가설 검정, 패턴인지… 우연히 찾은 것인지

 

   5. Information

 

Motivating Challenges

전통적인 기법은 문제 해결에 있어 실질적인 어려움이 있을 수밖에…

1. Scalability [확장성]

데이터 마이닝 알고리즘은 방대한 데이터를 다뤄야한다!

• 기하급수적으로 큰 문제를 관리하기 위한 특별한 알고리즘
• 레코드에 효율적으로 접근할 수 있는 새로운 데이터 구조
• 디스크 기반 알고리즘
• 샘플링
• 병렬 처리와 분할 알고리즘

⇒ 하나의 컴퓨터처럼 사용할 수 있게 보인다

 

   2. High dimensionality [고차원] : feature 가 많다

데이터셋은 수백, 수천개의 속성을 가진다

• 차원의 저주
• 빠르게 증가하는 복잡성

   3. Heterogeneous data

다양한 유형의 속성이 포함된 데이터셋 (ex. 멀티모달)

데이터마이닝 기술은 복잡한 관계를 고려해야만 한다

 

   4. Data distribution [데이터 분산]

때로, 데이터는 다양한 장소로부터 분산된다

• 어떻게 하면 계산을 수행하는데 필요한 통신량을 줄일 수 있을까?
• 작업을 여러 위치로 나누고 각 위치에서 얻은 결과를 병합하는 과정

 

데이터마이닝과 관련된 학문

Statistic, AI, Database, Parallel & distributed computing

Optimization, information theory, visualization, information retrieval, …

 

Data Science and Data Mining

Data Science

: 데이터에서 유용한 인사이트를 도출하기 위한 도구, 기법을 연구하고 적용하는 분야

Programming skill + math/statistical skill + domain skill

 

Data Mining

: 대규모 데이터 셋에서 데이터로부터 패턴과 관계를 직접 발견하는 것을 강조

도메인 지식이 필요 없는 경우가 많음

데이터셋에서 유용한 정보를 찾는 것에 관함

 

데이터마이닝 작업의 두가지 카테고리

1. Predictive tasks [예측]

: 다른 속성의 값을 기반으로 특정 속성의 값을 예측하는 것

Target (dependent) attribute : 예측할 속성

Explantory (independent) attribute : 예측을 위해 사용될 속성

 

   2. Descriptive tasks [묘사]

: 데이터의 기본 관계를 요약하는 패턴을 도출하는 것

ex. frequent patterns, 유사성, 트렌드, 클러스터

결과를 검증하고 설명하기 위해 postprocessing 기법이 필요

 

네가지 핵심 데이터마이닝 작업

1. Classification [분류]

Predictive modeling : model $y = f(x)$

• y : target variable
• x = (x1, x2, …, xn) : explanatory variables

+Predictive modeling 의 2가지 종류

Classification : y의 카테고리를 예측 (ex. 구매 할지/ 안 할지)

Regression : y의 값을 예측 (ex. 기온)

⇒ 예측 값과 참값 사이의 오차를 최소화하는 모델 f(x) 를 학습

   

   2. Association Analysis [연관규칙]

: 아이템 사이의 강한 패턴을 파악

ex. 같이 구매한 두개의 아이템, 이걸 사면 그 다음에는 이걸 산다! (*순서 중요)

• { Diapers } → { Beer } : association rule, 기저귀를 사면 맥주를 산다
• { Milk, Ham, Bread } : frequent itemset, 이 세개가 같이 등장하는 횟수가 많다

⇒ 가장 흥미로운 패턴을 효율적으로 추출

 

   3. Cluster Analysis [클러스터 분석]

: 밀접하게 관련된 그룹을 찾음

• 유사한 애들끼리는 같은 클러스터
• 비슷하지 않은 애들끼리는 다른 클러스터

 

   4. Anomaly Detection [이상치 탐지]

: 다른 데이터와 현저히 다른 특성을 가진 관측치 식별

Such observations are called anomalies or outliers

 

⇒ 진짜 이상치를 탐색하고, 올바른 데이터를 잘못된걸로 분류하지 않도록

ex. 사기, 네트워크 침입, 비정상적인 패턴, 생태계 교란…