ETL

ETL은 추출(Extract), 변환(Transform), 적재(Load)의 약자로, 소스 시스템에서 데이터를 가져와 일관된 구조로 변환한 후 데이터 웨어하우스와 같은 대상 시스템에 저장하는 과정을 의미합니다. ETL은 분석의 기반이 되는 핵심 요소이며, ETL의 신뢰성은 이를 기반으로 구축된 보고서의 타당성을 결정짓는 중요한 역할을 합니다.

각 단계는 고유한 어려움을 수반합니다. 데이터 추출 단계에서는 외부에서 쿼리하도록 설계되지 않은 시스템에서 데이터를 가져와야 하며, API 속도 제한, 증분 변경 감지, 그리고 변경 사항을 확실하게 식별할 수 있는 방법이 없는 소스를 처리해야 합니다. 데이터 변환 단계에서는 일관되지 않은 형식, 서로 다른 식별자, 상충되는 정의, 그리고 누락된 값을 조정해야 합니다. 데이터 로딩 단계에서는 대용량 데이터를 처리하고, 이력을 유지하며, 늦게 도착하거나 순서가 뒤바뀐 레코드를 처리해야 합니다.

ELT 방식은 마지막 두 단계를 반대로 수행하여 원시 데이터를 대상 위치에 로드한 후 거기서 변환합니다. 이러한 방식이 일반화된 이유는 최신 데이터 웨어하우스 플랫폼이 변환을 효율적으로 수행할 수 있는 충분한 처리 능력을 갖추고 있고, 원시 데이터를 유지함으로써 소스에서 데이터를 다시 추출하지 않고도 변환을 수정하고 다시 적용할 수 있기 때문입니다. 또한 변환 로직의 오류를 영구적으로 저장하는 대신 복구할 수 있다는 장점도 있습니다.

증분 처리는 대부분의 구현을 복잡하게 만드는 실질적인 필수 요소입니다. 매 실행마다 모든 과거 데이터를 재처리하는 것은 간단하지만 데이터 양이 증가함에 따라 지속 불가능해지므로, 파이프라인은 마지막 실행 이후 변경된 사항을 식별해야 합니다. 신뢰할 수 있는 변경 타임스탬프가 없는 소스, 소급적으로 업데이트된 레코드, 흔적을 남기지 않는 삭제 등으로 인해 이러한 식별 작업은 생각보다 훨씬 어려워지며, 잘못된 증분 로직은 불완전한 데이터를 조용히 생성할 수 있습니다.

파이프라인의 운영 환경 적합성을 결정하는 것은 장애 처리 능력입니다. 소스 시스템의 스키마 변경, 자격 증명 만료, 상위 서비스 이용 불가, 예상치 못한 데이터 유입 등으로 파이프라인은 종종 장애를 일으킵니다. 장애 처리에서 중요한 요소는 장애 발생 즉시 감지, 부분 실행으로 인한 대상 시스템의 일관성 유지, 재실행 시 동일한 결과 생성(중복 레코드 발생 방지), 그리고 보고서 오류 발생 시점이 아닌 오류 발생 사실 통보입니다.

데이터 품질 검증은 파이프라인 이후가 아니라 파이프라인 내부에 있어야 합니다. 예상치와 행 수를 비교하고, 주요 필드가 채워져 있는지 확인하고, 값이 타당한 범위 내에 있는지 확인하고, 참조 일관성을 테스트하는 것은 데이터 입력 단계에서 데이터 손상을 잡아낼 수 있습니다. 이러한 테스트가 없으면 잘못된 데이터가 보고서와 의사 결정에 반영되고, 대개 몇 주 후에 누군가가 비현실적인 수치를 발견하면서 문제가 드러납니다.

스케줄링 및 종속성 관리는 출력의 일관성을 결정합니다. 파이프라인은 드물게 독립적으로 실행되며, 상위 소스가 완료되기 전에 하위 작업이 시작되면 완전해 보이지만 불완전한 결과가 생성될 수 있습니다. 이러한 종속성을 명시적으로 표현하기 위한 오케스트레이션 도구가 존재하며, 선언된 종속성이 아닌 타이밍 가정에 의해 연결된 파이프라인은 재현하기 어려운 방식으로 간헐적으로 실패할 수 있습니다.

파이프라인은 구축한 사람보다 오래 지속되기 때문에 문서화와 계보 관리가 중요합니다. 각 필드가 어디에서 유래되었는지, 어떤 변환이 적용되었는지, 어떤 비즈니스 규칙이 인코딩되었는지 아는 것은 수치가 왜 그렇게 나타나는지, 그리고 소스 시스템 변경이 어떤 영향을 미치는지 평가하는 데 필수적입니다. 문서화가 제대로 되지 않은 파이프라인은 아무도 수정하려 하지 않는 시스템이 되고, 결국 조직은 서로 모순되는 수치를 생성하는 병렬 파이프라인을 갖게 됩니다.

신뢰성이 정교함보다 가치를 결정짓는 요소이기 때문에 파이프라인에 적용되는 엔지니어링 원칙은 프로덕션 소프트웨어에 적용되는 원칙과 동일해야 합니다. 실제로 파이프라인은 다음과 같은 주체에 의해 구축 및 운영됩니다. 방열판 열 관리용 또는 IT 부서비즈니스 정의를 인코딩하는 변환 로직은 다음과 같이 지정됩니다. 데이터 분석그리고 유효성 검사 규칙은 첫 번째 문제가 발생한 후에 추가하는 것보다 첫 번째 파이프라인을 구축하기 전에 합의하는 것이 좋습니다.