앞선 포스팅에서 우리는 차세대 데이터 아키텍처의 양대 산맥인 ‘데이터 패브릭(Data Fabric)’과 ‘데이터 메시(Data Mesh)’의 개념적 차이를 조망해 보았습니다. 기술 중심의 패브릭과 달리, 데이터 메시는 철저하게 ‘조직과 사람’ 중심의 분산 아키텍처를 지향합니다.
기존의 거대한 데이터 레이크(Data Lake)나 데이터 웨어하우스(DW) 중심의 중앙 집중형 모델은 데이터 엔지니어링 팀에 엄청난 병목(Bottleneck) 현상을 유발했습니다. 자막 데가니(Zhamak Dehghani)가 창안한 ‘데이터 메시’는 이러한 중앙 통제의 한계를 부수고, 데이터를 생산하는 현업 부서가 직접 데이터를 소유하고 유통하도록 권한을 분산시킵니다.
본 문서에서는 엔터프라이즈 환경을 혁신하는 데이터 메시 아키텍처의 4대 핵심 원칙과 실무적인 도메인 주도 설계(Domain-Driven Design) 전략을 심층 분석합니다.
1. 도메인 주도 데이터 소유권 분산 (Domain-Oriented Decentralized Data Ownership)
데이터 메시의 첫 번째이자 가장 근본적인 원칙은 거대한 모놀리식(Monolithic) 데이터 플랫폼을 비즈니스 도메인(Domain) 단위로 쪼개는 것입니다.
- 아키텍처의 변화: 과거에는 마케팅팀, 재무팀, 영업팀이 쏟아내는 데이터를 중앙의 IT 데이터 팀이 모두 수집하고 정제했습니다. 데이터 메시는 이를 거부합니다. 마케팅 데이터는 마케팅 도메인 팀이, 재무 데이터는 재무 도메인 팀이 직접 수집하고 정제하며 저장합니다.
- 실무적 가치: 데이터의 비즈니스적 맥락(Context)을 가장 잘 이해하는 현업 실무자가 직접 데이터를 소유(Ownership)하게 되므로, 데이터 파이프라인 구성 시 발생하는 커뮤니케이션 비용과 리드 타임(Lead Time)이 혁신적으로 단축됩니다.
2. 데이터를 ‘상품’으로 취급 (Data as a Product)
도메인이 데이터를 독점하게 두면 과거의 ‘데이터 사일로(Data Silo)’로 회귀할 위험이 있습니다. 이를 막기 위한 두 번째 원칙이 바로 데이터를 내부적으로 소비 가능한 ‘상품(Product)’으로 취급하는 것입니다.
- 데이터 상품의 요건: 각 도메인 팀은 자신이 생산한 데이터를 다른 부서가 쉽게 구매(사용)할 수 있도록 높은 품질을 유지해야 합니다. 이 데이터 상품은 발견 가능하고(Discoverable), 접근 가능하며(Addressable), 상호 운용 가능하고(Interoperable), 철저히 보안이 유지(Secure)되어야 합니다.
- 거버넌스와의 연결: 여기서 시즌 1에서 다루었던 데이터 품질 지표(DQI)와 엔터프라이즈 데이터 카탈로그가 맹활약합니다. 마케팅팀은 카탈로그라는 ‘쇼핑몰’에 자신들의 데이터 상품을 진열하고, 데이터 스튜어드는 이 상품의 품질(DQI) 점수를 보증하여 타 부서의 신뢰를 확보합니다.
3. 셀프 서비스 데이터 인프라 플랫폼 (Self-Serve Data Infrastructure as a Platform)
현업의 마케터나 영업 사원이 직접 데이터베이스를 구축하고 아파치 카프카(Apache Kafka)를 세팅할 수는 없습니다. 따라서 이들의 독립을 지원할 ‘중앙 인프라 플랫폼’이 반드시 필요합니다.
- 플랫폼 팀의 새로운 역할: 중앙 IT 팀은 더 이상 데이터를 직접 만지지 않습니다. 대신 각 도메인 팀이 데이터 상품을 쉽게 만들고 배포할 수 있도록 클라우드 스토리지, 컴퓨팅 자원, 암호화 키(KMS), 스트리밍 엔진 등의 하위 인프라를 ‘추상화된 셀프 서비스 형태’로 제공합니다.
- 민첩성 극대화: 도메인 팀은 중앙 플랫폼이 제공하는 API와 템플릿을 호출하기만 하면, 단 몇 분 만에 안전한 데이터 파이프라인과 저장소를 할당받아 즉각적인 비즈니스 분석에 돌입할 수 있습니다.
4. 연합형 컴퓨테이셔널 거버넌스 (Federated Computational Governance)
데이터 권력을 각 부서에 나누어 주면서도 전사적인 무법지대가 되는 것을 막는 최후의 통제 장치입니다.
- 연합형 조직 (Federated): 전사 데이터 거버넌스 위원회는 각 도메인 팀의 대표자(Data Owner)들과 중앙 IT 플랫폼 팀의 대표자들로 ‘연합(Federated)’하여 구성됩니다. 이들은 상호 운용성을 위한 전사 표준(예: 고객 ID 체계, 암호화 표준)을 합의합니다.
- 컴퓨테이셔널 통제 (Computational): 위원회에서 합의된 보안 및 규정 준수(Compliance) 정책은 종이 문서에 머물지 않고, 셀프 서비스 플랫폼의 ‘코드(Code)’로 내장됩니다. 즉, 도메인 팀이 규정에 어긋나는 데이터 상품을 배포하려 하면 시스템이 자동(Computational)으로 차단하는 촘촘한 가드레일(Guardrail)을 형성합니다.
결론: 조직 문화의 대전환을 요구하는 아키텍처
데이터 메시는 단순히 새로운 소프트웨어를 도입하는 기술적 프로젝트가 아닙니다. 중앙 통제에 익숙했던 기업의 권력 구조를 분산시키고, 모든 구성원이 데이터의 생산자이자 소비자로서 책임을 다하게 만드는 ‘조직 문화의 혁명’입니다.
중앙의 강력한 통제를 지향했던 마스터 데이터 관리(MDM)의 철학과, 철저한 분산을 외치는 데이터 메시의 철학. 이 극단에 있는 두 패러다임을 실제 엔터프라이즈 환경에서는 어떻게 융합해야 할까요?
다음 포스팅에서는 이 거대한 딜레마를 해결하기 위한 차세대 아키텍처 설계, ‘데이터 패브릭과 데이터 메시를 아우르는 융합형 거버넌스 체계 및 하이브리드 아키텍처 구축 방안’에 대해 심층적으로 다루어 보겠습니다.