10월 29, 2017의 게시물 표시

Publish to my blog (weekly)

ETL 시대의 종말 - ITWorld Korea 변환이란 미변환 상태의 로우 데이터(raw data)를 정리, 필터링, 정형(reshaping)하고, 요약해 분석에 적합한 상태로 바꾸어놓는 과정을 일컫는다. 사실상 데이터 변환과 쿼리가 하나의 단계로 통합되는 것이다. 그리고 바로 이런 맥락에서 등장한 것이 ELT이다. 대부분의 변환을 적재 단계 바로 직후에 하는 방식을 택하고 있다. 이런 방식은 예전 시스템보다 훨씬 큰 민첩성을 허용하면서도 괜찮은 결과물을 내어 놓고 있기 때문이다. 적어도 현재로써는 이런 식으로 변환이 이뤄지고 있으며 이러한 변환 단계를 가리켜 대문자 T를 사용해 표현했다. 한편 가벼운 변환 작업들, 웨어하우스에서 바로 처리할 수 있는 변환은 쿼리 타임과 동시에 진행되고 있다. 이런 가벼운 변환 단계를 소문자 t를 써서 표현한 것이다. 이 변환 단계에서는 새로운 메트릭스 프로토타입이나 즉흥적인 탐색이 이뤄지므로 쿼리 타임 가공이 제공하는 완전한 유연성이 요구되기 때문이다 우리가 알던 그 ETL은 죽었다. 하지만 EtLTt(?)는 영원할 것이다...