본문 바로가기
DATA Science/DataEngineering

데이터 파이프라인

by Rainbound-IT 2021. 6. 21.
반응형

한장소에서 다른장소로 옮기는 것 

ex. db <=> db API <=>db

필요한 경우
데이터 소스들로부터 데이터를 생성 저장하는기 위해
데이터에서 추가적인 가치를 창출할때
데이터 사일로 - 데이터가 부서별로 고립되어 있을때 통합시키려고 할때 
클라우드 환경으로 데이터 저장할때

Data silo: 데이터사일로는 한 조직 내 정보의 집합이지만, 조직 내 다른 부서는 접근할 수 없는 분리된 정보를 의미한다



Scalability: 데이터가 기하급수적으로 늘어났을때도 작동하는가?
Stability: 에러, 데이터 플로우 등 다양한 모니터링 관리
Security: 데이터 이동간 보안에 대한 리스크는 무엇인가

반응형

댓글