데이터 레이크를 구축하고 메달리온 아키텍처(Bronze-Silver-Gold)를 통해 거버넌스 체계를 세웠다고 해서 모든 문제가 끝나는 것은 아닙니다. 데이터 파이프라인은 반드시 고장 나기 마련입니다. 이때 “수십만 건의 데이터 중 정확히 어떤 데이터가, 몇 시 몇 분에, 어떤 정제 로직을 거치다 증발했는가?”라는 질문에 즉각적으로 답할 수 없다면, 그 파이프라인은 시한폭탄과 같습니다. 엔터프라이즈 데이터 거버넌스에서 원시 데이터(Raw Data)가 무결점의 마스터 … 더 읽기
엔터프라이즈 환경에서 데이터 거버넌스와 데이터 레이크를 완벽하게 구축했더라도, 피할 수 없는 최후의 장벽이 하나 존재합니다. 바로 여러 시스템에서 유입된 데이터들의 ‘명칭 불일치’로 인한 파편화(Fragmentation) 현상입니다. 아무리 철저하게 결측치를 막아내고 포맷을 통일(DQI)하더라도, 본질적으로 입력된 ‘이름’ 자체가 제각각이라면 시스템은 이를 완전히 다른 데이터로 인식해 버립니다. 본 문서에서는 파이썬(Python) 데이터 엔지니어링의 핵심 기술인 퍼지 매칭(Fuzzy Matching)을 활용하여, 뿔뿔이 … 더 읽기
최근 엔터프라이즈 데이터 엔지니어링의 가장 큰 화두는 단연 ‘데이터 레이크(Data Lake)’입니다. 하지만 AWS S3나 하둡(Hadoop) 같은 거대한 스토리지를 열어두고 원시 데이터(Raw Data)를 무작정 쏟아붓는다고 해서 빅데이터 인프라가 완성되는 것은 아닙니다. 명확한 통제 규칙과 아키텍처 없이 방치된 데이터 레이크는 머지않아 누구도 쓸모 있는 정보를 찾을 수 없고 악취만 진동하는 ‘데이터 늪(Data Swamp)’으로 전락하고 맙니다. 본 문서에서는 … 더 읽기
일반적으로 IT 분야나 코딩 입문 단계에서 더미데이터(Dummy Data)의 뜻을 검색하면, 단순히 ‘빈 공간을 채우기 위해 임의로 집어넣는 의미 없는 가짜 데이터’라는 사전적 정의를 마주하게 됩니다. 하지만 엔터프라이즈 데이터 거버넌스와 빅데이터 파이프라인 실무에서 더미데이터가 가지는 의미는 완전히 다릅니다. 현업 데이터 엔지니어에게 더미데이터란 우리가 구축한 데이터 품질 지표(DQI) 검증 시스템이 극한의 에러 상황에서도 무너지지 않는지 시험하기 위해 … 더 읽기
엔터프라이즈 환경에서 데이터 거버넌스(Data Governance) 도입 실패의 대부분은 이를 단순한 ‘사내 규정집 제작’이나 ‘문서화 작업’으로 오인하는 데서 비롯됩니다. 데이터 거버넌스는 정적인 규약이 아니라, 사람(People), 프로세스(Process), 기술(Technology), 도구(Tool)라는 4가지 핵심 축이 파이프라인 상에서 유기적으로 결합되어 실시간으로 작동하는 ‘엔터프라이즈 데이터 운영 체계’여야 합니다. 본 문서에서는 실제 공공입찰(G2B 나라장터, LH) 빅데이터 수집 및 정제 파이프라인을 구축하면서 축적한 현업 … 더 읽기
‘데이터 스튜어드십(Data Stewardship) 뜻’을 검색하며 개론서만 암기해서는 엔터프라이즈 기업의 거버넌스 부서 채용 관문을 통과할 수 없습니다. 현업에서 요구하는 스튜어드는 단순히 정책을 기획하는 관리자가 아니라, 쏟아지는 원시 데이터(Raw Data)의 오염을 코드로 방어하는 ‘실전 엔지니어’에 가깝습니다. 실제 공공입찰(G2B, LH) 데이터 파이프라인을 구축하며 체감한, 현 채용 시장이 데이터 스튜어드에게 요구하는 진짜 실무 역량을 심층 분석합니다. 1. 현업에서 체감하는 … 더 읽기
이전 포스팅에서 우리는 데이터의 빈칸을 찾아내는 ‘완전성(Completeness) DQI’ 자동화 파이프라인을 구축했습니다. 하지만 데이터가 100% 꽉 채워져 있다고 해서 안심할 수 있을까요? 칸은 채워져 있지만 그 안에 시스템이 읽을 수 없는 ‘쓰레기 값’이 들어있다면 파이프라인은 여전히 붕괴합니다. 본 문서에서는 실제 G2B 및 LH 공공입찰 데이터를 다루며 겪었던 포맷 불량 사태를 바탕으로, 파이썬(Python) pandas와 정규표현식(Regex)을 융합하여 데이터의 … 더 읽기
데이터 거버넌스를 구축할 때 많은 기업이 ‘데이터 품질 지표(DQI)’라는 개념을 도입하지만, 이를 실제 현장의 파이프라인에 코드로 녹여내는 기업은 극소수에 불과합니다. DQI는 엑셀에 수동으로 기록하는 보고서가 아니라, 데이터가 유입되는 즉시 시스템이 스스로 측정하고 경고를 울려야 하는 ‘살아있는 방어막’이어야 합니다. 본 문서에서는 실제 공공입찰(G2B, LH) 데이터를 파이썬으로 수집하며 겪었던 치명적인 결측치(Null) 사태를 바탕으로, pandas 라이브러리를 활용해 DQI의 … 더 읽기
RAG(검색 증강 생성) 아키텍처를 도입하고 역할 기반 접근 통제(RBAC)로 보안 방어막을 쳤다면, 당장 내일부터라도 임직원들이 사내 AI 챗봇을 유용하게 쓸 수 있을 것입니다. 하지만 IT 시스템에 ‘한 번 세팅해 두면 영원히 완벽한’ 마법은 존재하지 않습니다. 본 문서에서는 실제 공공입찰 데이터 기반의 사내 AI 시스템을 운영하며 겪었던 ‘데이터 편향(Data Drift)’ 현상과 클라우드 비용 폭증 사태를 바탕으로, … 더 읽기
앞선 포스팅에서 우리는 RAG(검색 증강 생성) 아키텍처와 MDM(마스터 데이터 관리)을 결합하여 AI의 할루시네이션(거짓 정보 생성)을 원천 차단하는 방안을 살펴보았습니다. 정제된 1급수 데이터로 AI의 답변 정확도를 끌어올렸다면, 이제 엔터프라이즈 환경에서 가장 치명적인 숙제가 남습니다. 바로 “임원진만 보아야 할 대외비 문서나 고객의 개인정보를 일반 사원이 AI에게 물어보면 어떻게 방어할 것인가?”입니다. 본 문서에서는 실제 공공입찰 데이터 파이프라인을 구축하며 … 더 읽기