[데이터분석] Data Engineering(엔지니어링) 3

 

워크플로우(Workflow)

작업 절차를 통한 정보 또는 업무의 이동을 의미

데이터 워크플로우는 데이터 처리의 작업 처리를 의미

ETL 작업 같은 데이터 처리 흐름을 워크 플로우 스케줄링 툴로 처리함

 

방향성 비순환 그래프(Directed Acyclic Graph)

 

Computer Cluster

여러대의 컴퓨터들이 연결되어 하나의 시스템처럼 동작하는 컴퓨터들의 집합을 말함

물리적으로는 여러대의 컴퓨터 이지만 외부 사용자는 마치 한대의 컴퓨터 인것으로 보임

클러스터의 구성요소

• Node(Master + Slave)
• Network
• OS
• Middleware

Computer Cluster의 목적

서버의 확장을 통한 우수한 성능을 얻을수 있음 분산 컴퓨터

출처 : https://www.oreilly.com/library/view/distributed-computing-in/9781787126992/c8b8695b-fce0-4f1f-8c37-2a211fa314fa.xhtml

 

SPOF(Single Point of Failure)

단일 장애지점

시스템 구성 중에 동작하지 않으면 전체 시스템이 중단되는 요소

일종의 치명적인 약점으로 클러스터에서 SPOF가 없어야 함.

 

HA(High Availability)

고가용성

서버와 네트워크, 프로그램 등의 시스템이 지속적으로 운영이 가능한 성질

클러스터에서는 SPOF가 없어야하며, HA가 유지되어야 함.