데이터 레이크 아키텍처: 사람들이 알고 싶어하는 것과 실제로 중요한 것은 무엇인가

주요 요점

• 데이터 레이크 아키텍처를 연구하는 대부분의 사람들은 한 가지 질문에 대한 답을 찾으려 합니다. 바로 "데이터 늪을 만들지 않고 어떻게 분석 및 AI 가치를 얻을 수 있을까?"입니다.
• 최신 데이터 레이크는 단순히 저장 및 컴퓨팅 기능만을 제공하는 것이 아닙니다. 성숙한 솔루션에는 메타데이터 관리, 보안 및 거버넌스 기능이 포함됩니다. (Microsoft)
• 클라우드 아키텍처는 아파치 아이스버그와 같은 개방형 테이블 형식 지원을 포함하여 데이터 관리 및 카탈로그 기능을 점점 더 통합하고 있습니다. (구글 클라우드)
• 성공적인 아키텍처는 영역, 카탈로그, 계보, 액세스 정책, 비용 제어 및 보존을 최우선 계층으로 고려합니다.

"데이터 레이크 아키텍처" 검색의 진짜 의도

누군가 '데이터 레이크 아키텍처'라고 검색할 때, 보통 보기 좋은 다이어그램을 찾는 것이 아닙니다. 그들은 CIO, 보안 팀, 그리고 예산 담당자를 설득할 수 있는 청사진을 찾고 있습니다. 실제로 그들의 질문은 다음 다섯 가지 범주로 나눌 수 있습니다.

• 창고와 호숫가 주택을 비교했을 때 어떤 차이점이 있을까요?
• 어떤 레이어가 필요할까요?
• 우리는 어떻게 그것을 관리하고 보호할 것인가?
• 어떻게 하면 빠르고 저렴하게 제공할 수 있을까요?
• 어떻게 하면 AI에 적합하게 만들 수 있을까요?
• 데이터의 늪을 피하려면 어떻게 해야 할까요?

데이터 레이크를 "데이터를 객체 스토리지에 쏟아붓고 나중에 처리하자"라고 생각하는 것은 실패로 가는 가장 빠른 길입니다. 반대로 데이터 레이크를 성공적으로 운영하는 가장 빠른 길은 명확한 계층 구조, 거버넌스, 그리고 증거 기반의 관리형 시스템으로 다루는 것입니다.

1) 데이터 레이크 vs 데이터 웨어하우스 vs 레이크하우스

이는 자금 조달, 기술 및 아키텍처를 정의하기 때문에 사람들이 가장 먼저 묻는 질문입니다. 마이크로소프트는 데이터 레이크를 다양한 유형의 데이터를 대규모로 저장하고 처리하는 시나리오로 정의하며, 성숙한 솔루션에는 거버넌스가 포함됩니다. (마이크로소프트)

구글 클라우드는 "레이크하우스" 아키텍처를 데이터와 AI 거버넌스 및 카탈로그화를 연결하는 통합 접근 방식으로 제시하며, 아이스버그와 같은 개방형 형식에 대한 지원도 포함합니다. (구글 클라우드)

2) 사람들이 실제로 원하는 참조 아키텍처

팀들은 배치 데이터 수집, 스트리밍, BI, ML, GenAI 등 실제 워크로드에 대응하는 참조 아키텍처를 원합니다. 다음은 엔터프라이즈 환경에서 사용 가능한 가장 간단한 아키텍처입니다.

코어 레이어

• 음식물 섭취배치 및 스트리밍 파이프라인은 플랫폼으로 데이터를 가져옵니다(AWS는 다양한 소스를 연결하는 수집 계층을 설명합니다). (AWS)
• 스토리지원시 데이터와 선별된 데이터를 저장할 수 있는 내구성이 뛰어나고 확장 가능한 기반 (AWS 데이터 레이크는 일반적으로 객체 스토리지를 기반으로 사용합니다). (AWS)
• 영역랜딩/원시 레이어와 큐레이티드 레이어처럼 논리적으로 구분되어 있으며, 어떤 콘텐츠가 어디에 속해야 하는지에 대한 명확한 규칙이 있습니다.
• 카탈로그 및 메타데이터: 검색, 소유권, 분류 및 정책 컨텍스트(데이터 카탈로그 패턴은 일반적으로 존재하는 데이터와 사용 방법을 파악하는 데 사용됩니다). (AWS)
• 처리변환 및 분석 엔진(Microsoft는 Azure Databricks의 Spark 또는 Fabric과 같은 변환 및 머신러닝 처리 엔진을 예로 듭니다.) (Microsoft)
• 피복재: BI용 데이터 제품, API, 피처 스토어 및 AI 소비 패턴.
• 거버넌스, 보안 및 규정 준수: 전체 시스템을 안전하게 보호할 수 있는 제어 장치 (마이크로소프트는 성숙한 솔루션의 일부로 거버넌스를 명시적으로 언급합니다). (마이크로소프트)
• 관찰 성파이프라인 모니터링, 비용 모니터링, 편차 감지 및 운영 지표.

혼란을 방지하는 구역

사람들은 흔히 "구역을 어떻게 설정해야 할까요?"라고 묻습니다. 구역 설정은 늪을 막는 방법이기 때문입니다. 실용적인 규칙은 다음과 같습니다.

• 착륙 (원본): 추가 전용. 수신된 그대로 저장. 계보 및 감사 목적으로 보존.
• 표준화(브론즈)형식 정규화, 타임스탬프 규칙, 기본 유효성 검사.
• 큐레이티드(실버)비즈니스 친화적인 스키마, 품질 검사, 참조 조인.
• 금(소비)비즈니스 인텔리전스(BI), 머신러닝(ML) 기능 또는 도메인 API를 위한 맞춤형 데이터 제품입니다.

3) 구매 결정에 영향을 미치는 지배구조 관련 질문

통치는 자금이 투입되는 곳입니다. 또한 대부분의 "데이터 레이크 아키텍처"내용이 너무 모호합니다. 사람들이 실제로 알고 싶어하는 것은 다음과 같습니다."

데이터는 누구의 소유인가요?

소유권이 없으면 아무것도 깨끗하게 유지될 수 없습니다. 카탈로그는 소유자, 관리자, 민감도, 그리고 접근 승인 권한을 가진 사람을 명확히 정의해야 합니다. Google Cloud는 통합 카탈로그 및 거버넌스를 호숫가 주택 설계의 핵심 요소로 강조합니다. (Google Cloud)

우리는 계보와 추적 가능성을 입증할 수 있을까요?

출처를 밝히는 것은 학문적인 문제가 아닙니다. 보고서, 모델, 그리고 의사결정을 옹호하는 데 필수적인 요소입니다. 임원이 "이 수치는 어디에서 나온 겁니까?"라고 물었을 때, 명확한 답변을 제시해야 합니다.

데이터 폭증을 어떻게 방지할 수 있을까요?

데이터가 검색, 관리 및 활용 가능한 상태로 전환되는 속도보다 더 빠르게 저장소에 유입될 때 '데이터 늪' 현상이 발생합니다. 해결책은 새로운 스토리지 계층을 도입하는 것이 아니라, 운영 규율을 확립하는 것입니다. 즉, 최소한의 메타데이터 사용, 영역 강제 적용, 자동화된 품질 검사 및 데이터 보존 정책을 시행하는 것입니다.

4) 보안, 규정 준수 및 데이터 보존: 보안 팀이 묻는 질문

보안팀은 "데이터 레이크의 확장성이 뛰어난가?"라고 묻지 않습니다. 그들은 "접근을 제한하고, 사용량을 감사하고, 보존 및 삭제 정책을 시행할 수 있는가?"라고 묻습니다.

접근 제어 및 감사 가능성

• 컨트롤에 액세스RBAC 및 ABAC 패턴을 사용하며, 필요에 따라 행 및 열 수준 정책을 적용할 수 있습니다.
• 감사: 접근 및 변경에 대한 불변 로그. 구체적인 예로, 마이크로소프트 센티넬의 데이터 레이크 개요에서는 활동에 대한 감사 및 감사 로그를 강조하여 보여줍니다. (마이크로소프트)
• 암호화저장 상태와 전송 상태 모두에서 기업 표준에 맞는 키 관리를 제공합니다.

구금, 법적 보류 및 정당한 처분

규제 대상 데이터를 저장하는 경우, 데이터 보존은 정책이 아닌 아키텍처 문제입니다. 많은 기업에서 사용하는 권한 기준점의 예는 다음과 같습니다.

• GDPR 제17조삭제권(잊힐 권리)은 여러 상황에서 실질적인 삭제 요건을 발생시킵니다.
• HIPAA 보안 규칙: 전자건강정보(ePHI)를 보호하기 위한 합리적이고 적절한 안전장치가 필요합니다.
• SEC 규칙 17a-4증권중개업자를 위한 기록 보존 요건 및 관련 기대 사항을 포함합니다.
• NIST SP 800-88미디어 데이터 삭제 지침은 합리적인 데이터 폐기 관행을 안내합니다.

데이터 접근 내역, 변경 사항, 삭제 또는 보존 시점을 증명할 수 없다면 신뢰를 빠르게 잃게 될 것입니다. 증거를 제시할 수 없는 아키텍처는 오히려 부담이 됩니다.

5) 성능 및 비용: 운영자가 알고 싶어하는 사항

"데이터 레이크가 느리다"는 문제의 상당 부분은 자초한 것입니다. 사람들은 이론이 아닌 실질적인 해결책을 원합니다.

왜 느린가요?

• 작은 파일이 너무 많고 압축 전략이 부실합니다.
• 쿼리 패턴과 일치하지 않는 잘못된 파티셔닝
• 읽기 속도를 높이는 데 필요한 테이블 형식 및 메타데이터가 누락되었습니다.
• 관리 체계와 워크로드 라우팅 없이 너무 많은 엔진이 경쟁하고 있습니다.

왜 비싼가요?

• 컴퓨팅은 안전장치, 할당량 또는 비용 청구 없이 실행됩니다.
• 데이터 검색이 미흡하기 때문에 팀 간에 데이터가 중복됩니다.
• 잘못된 계층에서의 무제한 보존
• 통제되지 않은 임의 쿼리 및 "모든 것을 스캔"하는 동작

6) AI 준비성: 데이터 레이크에 자금이 투자되는 새로운 이유

AI 준비 상태는 단순히 "데이터를 호수에 넣는 것"이 ​​아닙니다. AI 준비 상태는 신뢰할 수 있고, 관리되며, 설명 가능한 데이터 및 맥락 접근을 의미합니다. 여기에는 다음이 포함됩니다.

• 메타데이터 및 카탈로그 품질: 이를 통해 팀은 데이터의 의미를 찾고 이해할 수 있습니다.
• 정책 기반 접근따라서 민감한 데이터는 보호되고 사용 내역을 감사할 수 있습니다.
• 데이터 품질 신호그래서 모델은 쓸모없는 데이터로 학습하지 않습니다.
• 출처 및 계보: 따라서 출력 결과를 설명할 수 있습니다.
• 개방형 형식 지원구글 클라우드는 거버넌스 관련 설명에서 아이스버그 지원을 구체적으로 언급합니다. (구글 클라우드)

구체적인 소규모 시나리오: 현실 세계에서 어떤 문제가 발생할 수 있을까요?

한 글로벌 제조업체가 운영 분석을 위한 데이터 레이크를 구축합니다. 처음에는 순조롭게 진행되었지만, 6개월 후 데이터 레이크는 수천 개의 테이블로 가득 차고, 담당자도 일정하지 않으며, 아무도 신뢰하지 않는 여러 개의 "숨겨진 데이터 세트"가 생겨납니다. 최고재무책임자(CFO)는 "공장별 실제 불량률은 얼마입니까?"라는 단 하나의 수치를 요구합니다. 세 팀이 각각 다른 답변을 내놓습니다.

해결책은 또 다른 BI 도구를 만드는 것이 아닙니다. 해결책은 아키텍처적인 접근 방식입니다. 즉, 표준 영역, 강제 적용되는 메타데이터, 소유권, 접근 정책, 그리고 "선별된 콘텐츠"의 의미를 정의할 수 있는 단일 거버넌스 계층을 구축하는 것입니다.

데이터 레이크 아키텍처 설계 방법 (실제 단계)

• 먼저 사용 사례(BI, ML, 스트리밍 운영, GenAI)를 정의하고 이를 서비스 패턴에 매핑합니다.
• 구역 모델을 선택하고 각 구역에 대한 규칙을 작성하세요. 그리고 그 규칙들이 시행 가능하도록 만드세요.
• 카탈로그 및 메타데이터를 선택 사항이 아닌 필수 사항으로 구현하십시오.
• 사용량을 늘리기 전에 보안 제어(접근 권한, 암호화, 감사 로그)를 강화하십시오.
• 설계 초기 단계부터 비용 관리(할당량, 작업 부하 라우팅, 계층화, 유지 관리)를 고려하십시오.
• 위원회 회의록이 아닌 운영 모델을 통해 거버넌스를 구체화하십시오.

솔릭스의 역할은 무엇일까요?

데이터 레이크 데이터 관리, 보존 및 감사 증거가 너무 많은 시스템에 분산되어 있으면 프로그램이 제대로 작동하지 않습니다. Solix는 정형 및 비정형 데이터 전반에 걸쳐 보존, 정책 시행, 검색 및 감사 기능을 통합하여 기업이 관리되고 AI에 최적화된 데이터 기반을 구축할 수 있도록 지원합니다. 이는 삭제, 보존 및 통제 증명이 필수적인 규제 산업에서 특히 중요합니다.

데이터 레이크 아키텍처 체크리스트를 한 페이지로 보고 싶으신가요?

데이터 레이크를 설계하거나 현대화하는 과정에서 영역, 거버넌스, 보안, 보존 및 AI 준비 상태를 포괄하는 실용적인 체크리스트가 필요하다면, Solix에서 아키텍처 검토에 활용할 수 있는 간략한 참고 자료를 제공해 드릴 수 있습니다.

데모를 요청하거나 자세히 알아보세요.

FAQ

데이터 레이크 아키텍처에서 가장 중요한 구성 요소는 무엇입니까?

거버넌스와 메타데이터. 스토리지와 컴퓨팅은 기본 요소입니다. 성숙한 솔루션은 검색 가능성과 규정 준수를 보장하기 위해 메타데이터 관리, 보안 및 거버넌스를 통합합니다. (Microsoft)

데이터 늪을 피하려면 어떻게 해야 할까요?

강제 가능한 규칙이 있는 영역을 사용하고, 최소한의 메타데이터만 요구하며, 품질 검사를 자동화하고, 소유권 및 보존 정책을 구현하십시오. 스토리지 과부하 문제는 스토리지 자체의 문제가 아니라 운영 모델의 실패입니다.

호숫가 별장이 필요할까요?

항상 그런 것은 아닙니다. 레이크하우스는 데이터 웨어하우스와 같은 테이블 및 거버넌스 패턴을 레이크 스토리지에 적용하여 중복을 줄이고 성능을 향상시킬 수 있습니다. 분석 및 AI 워크로드가 여러 엔진과 데이터 복사본에 분산되어 있는 경우, 레이크하우스 접근 방식이 매우 효과적일 수 있습니다. (Google Cloud)

어떤 클라우드가 최고의 데이터 레이크 아키텍처를 갖추고 있나요?

AWS, Azure, Google Cloud는 각각 데이터 레이크 및 레이크하우스를 위한 강력한 패턴과 서비스를 제공합니다. 최종 선택은 일반적으로 기존 기업 환경, 보유 기술, 그리고 운영 모델에 가장 적합한 거버넌스 및 카탈로그 계층에 따라 결정됩니다. (AWS, Microsoft, Google Cloud)

고지사항: 본 문서는 정보 제공 목적으로 작성되었으며 법률 자문을 구성하지 않습니다. 규제 요건은 관할 지역 및 산업 분야에 따라 다릅니다.