[데이터분석] Data Engineering(엔지니어링) 2

 

Data Warehouse

사용자의 의사 결정에 도움을 주기 위하여, 여러 시스템의 데이터베이스에 축적된 데이터를 공통의 형식으로 변환해서 관리 하는 데이터 베이스를 말한다.

Data Warehouse를 구축 한다는 것은? 다양한 분석을 할수 있도록 여러 테이블을 가공하여 Mart를 생성을 한다. 이후 사용자는 분석 툴을 활용해 보다 편리하게 분석할 수 있도록 한다.

 

출처 https://loustler.io/data_eng/what-is-dw/

 

Data Lake

Data Warehouse의 정보 분석 한계를 개선하기 위해 생긴 데이터 저장 개념

Data Warehous는 정형데이터를 가공하여 저장하고 Data Lake는 원래 형식대로 대량 저장하여 분석에서 활용한다.

정형, 비정형, 반정형 모두 적재가 가능하다.

Data Warehouse에 비해 더 큰 빅데이터 저장 공간 필요하다.

 

출처 https://e.huawei.com/kr/publications/global/product-insights/201809291444/cool%20tech/201809301527

 

데이터 적재 유형

Bounded Data

• 일단 저장되면 이후 변화가 없는 데이터
• 매월 단위 매출 데이터, 매월 신규 고객 유치수 등
• 처리는 묶어서 한번에 일괄 처리

Unbounded Data

• Bounded Data와는 달리, 끝을 지정할 수 없는 지속적으로 적재되는 데이터
• 시스템 로그 데이터 주식 가격 변동 데이터 등
• 끝이 정해지지 않기 때문에 주기적 처리 또는 실시간 처리 한다.

 

배치 처리(Batch Processing)

• 일괄처리
• 대량의 데이터를 특정시간에 한번에 처리하는 것을 의미

 

스트림 처리(Stream Processing)

물의 흐름처럼 지속적으로 유입되는 데이터의 연속성 있는 처리

 

Micro Batch

배치의 주기나 데이터 크기를 상대적으로 짧게 설정하여 준 실시간으로 처리 하는 것을 의미

 

출처 ㅣ https://docs.microsoft.com/ko-kr/azure/architecture/data-guide/big-data/real-time-processing