데이터웨어 하우스

데이터 웨어하우스는 조직의 운영 시스템에서 생성된 데이터를 분석에 최적화된 구조로 통합하는 중앙 저장소입니다. 데이터는 소스 시스템에서 추출되어 일관된 형식과 정의로 변환된 후 웨어하우스에 저장됩니다. 이렇게 저장된 데이터는 원본 시스템에 영향을 주지 않고 여러 소스의 데이터를 쿼리할 수 있습니다.

이 솔루션은 정보의 파편화를 해결하고자 합니다. 기업의 정보는 일반적으로 상거래 플랫폼, 고객 관계 관리 시스템, 재무 관리 패키지, 마케팅 도구, 지원 소프트웨어, 그리고 여러 스프레드시트에 흩어져 있으며, 각 플랫폼마다 고유한 정의, 식별자, 그리고 이력을 가지고 있습니다. 이러한 플랫폼들 중 여러 곳에 걸쳐 있는 질문에 대해서는 수동으로 정보를 대조해야만 답을 찾을 수 있습니다. 이 때문에 몇 분이면 끝날 분석 작업이 며칠씩 걸리고, 부서마다 동일한 지표에 대해 서로 다른 수치를 산출하는 경우가 발생합니다.

분석 작업 부하와 운영 작업 부하를 분리하는 것이 두 번째 이유이며, 이는 선호 사항이 아닌 실질적인 필요성입니다. 운영 데이터베이스에서 실행되는 복잡한 분석 쿼리는 고객과 직원이 의존하는 시스템의 성능을 저하시키고, 운영 스키마는 거래 기록에 최적화되어 있으며 거래 전반을 집계하는 데는 적합하지 않습니다. 데이터 웨어하우스를 사용하면 운영 위험 없이 제약 없이 분석을 수행할 수 있습니다.

데이터 레이크와의 차이점은 구조와 처리 시점에 있습니다. 데이터 웨어하우스는 데이터를 로드하기 전에 스키마와 변환을 적용하여 일관성 있고 쿼리 가능한 데이터를 생성하지만, 초기 설계 작업이 많이 필요하고 유연성이 떨어집니다. 데이터 레이크는 원시 데이터를 원래 형태로 저장하고 읽을 때 구조를 적용하여 유연성과 세부 정보를 유지하는 대신, 해석 부담을 각 사용자가 갖도록 합니다. 최신 아키텍처는 원시 데이터를 저장하고 그 위에 모델링된 레이어를 구축하는 방식으로 두 가지 방식을 모두 결합하는 추세입니다.

모델링은 가치의 대부분과 어려움의 대부분을 차지하는 부분입니다. 비즈니스 엔티티를 정의하는 방법, 측정값을 계산하는 방법, 느리게 변화하는 속성을 처리하는 방법, 그리고 소스 데이터를 통합하는 방법을 결정하는 것은 조직이 스스로를 이해하는 방식을 나타냅니다. 이러한 작업을 거치지 않고 소스 시스템 구조를 복제하는 데이터 웨어하우스는 단순히 파편화된 데이터를 다른 곳으로 옮길 뿐이며, 결국 데이터 통합 ​​문제는 쿼리 시점에 다시 발생합니다.

정의에 대한 거버넌스는 기술보다 훨씬 중요합니다. 매출 계산 방식이 세 가지이거나 활성 고객에 대한 정의가 두 가지인 데이터 저장소는 기존 시스템보다 훨씬 더 빈번하게 불일치를 초래합니다. 정의에 합의하고, 이를 문서화하고, 각 정의를 한 번씩만 구현하고, 보고서가 합의된 버전을 사용하도록 요구하는 것이 바로 단일 정보 소스를 이상적인 목표가 아닌 실질적인 목표로 만드는 핵심입니다.

데이터 새로 고침 빈도는 설계 과정에서 기본값으로 설정되었다가 나중에 후회하는 경우가 많습니다. 데이터를 지속적으로 로드하는 것은 기술적으로 가능하지만, 대부분의 비즈니스 의사 결정이 일 단위 또는 주 단위로 이루어지고 실시간 처리 비용이 상당하기 때문에 실제로 필요한 경우는 드뭅니다. 데이터가 이론적으로 얼마나 최신 상태일 수 있는지에 맞춰 업데이트하는 것이 아니라, 실제로 데이터가 어떻게 사용되는지에 맞춰 업데이트 빈도를 조절하면, 아무도 활용하지 않는 데이터에 대한 비용 지출을 피할 수 있습니다.

클라우드 플랫폼 도입으로 비용이 완전히 사라진 것이 아니라 형태가 바뀌었습니다. 스토리지 비용은 저렴해졌고, 컴퓨팅 비용은 사용량에 따라 부과되므로 초기 투자 비용이 줄어들고 쿼리량에 따라 변동하는 비용이 발생합니다. 하지만 제대로 작성되지 않은 쿼리, 불필요한 데이터 새로 고침 빈도, 그리고 모든 보기에서 대규모 집계 데이터를 다시 계산하는 대시보드는 클라우드 도입으로 인한 비용 증가를 예상했던 기업들에게 예상치 못한 부담을 안겨줄 수 있습니다.

이 작업은 엔지니어링, 모델링, 그리고 정의에 대한 조직적 합의를 아우르기 때문에 기술적인 문제보다는 마지막 부분에서 실패하는 경우가 더 많습니다. 실제로 모델링 및 정의 관리 책임은 해당 부서에 있습니다. 데이터 분석파이프라인 및 인프라와 함께 방열판 열 관리용 또는 IT 부서그리고 범위는 모든 것을 통합하려는 야망보다는 조직이 실제로 내려야 할 결정에 따라 설정하는 것이 가장 좋습니다.