Solix Technologies, Inc., 3세대 클라우드 데이터 플랫폼으로 탁월한 데이터 거버넌스, 프라이버시 및 보안 제공
SOLIXCloud Enterprise Data Lake는 이제 Apache Hudi를 통해 포괄적인 데이터 엔지니어링, 데이터 통합 및 실시간 트랜잭션을 제공합니다.
캘리포니아주 산타클라라, 2024년 10월 24일 – 기업 데이터 관리 솔루션 분야의 선도적인 공급업체인 Solix Technologies, Inc.는 오늘 SOLIXCloud Enterprise Data Lake 에 대한 가장 중요한 업데이트를 발표했습니다.
너무 오랫동안 고객들은 기업 전체에 분산된 데이터 자산을 관리, 이해 및 활용하는 데 어려움을 겪었습니다. 1세대 데이터 플랫폼은 제한된 실시간 보고, 복잡하고 값비싼 ETL 로딩, 실시간 업데이트 부족으로 어려움을 겪었습니다. 2세대 데이터 플랫폼조차도 핵심 관리 및 거버넌스 기능의 부족, 느리고 번거로운 쿼리, 열악한 메타데이터 및 카탈로그 관리로 어려움을 겪었습니다.
그 결과, 운영 데이터 저장소 및 데이터웨어하우스부터 이전 세대 데이터 레이크에 이르기까지 고객들은 기업 데이터 자산을 수익으로 전환하는 데 부족한 데이터 플랫폼을 구축하는 데 시간과 돈, 재능을 투자했습니다.
또한, 생성적 AI, 머신 러닝, 엔터프라이즈 인텔리전스 애플리케이션 수익 흐름을 촉진하는 실시간 엔터프라이즈 데이터에 대한 수요는 물론, 데이터 수명 주기 전반에 걸쳐 데이터 엔지니어링 및 데이터 통합 솔루션을 지원하는 데이터 거버넌스 프레임워크에 대한 수요도 증가하고 있습니다.
3세대 데이터 플랫폼이 출시되었습니다.
고객이 기업 데이터 자산을 관리, 마이닝, 수익화하는 데 도움을 주는 혁신적인 3세대 클라우드 데이터 플랫폼인 SOLIXCloud Enterprise Data Lake는 확장성이 매우 뛰어나며, 새로운 고객과 기존 고객 모두를 위한 종단 간 데이터 통합 및 데이터 엔지니어링 솔루션을 제공합니다. 또한 SOLIXCloud 고객이 수년간 신뢰해 온 안전한 거버넌스를 갖춘 최고 수준의 클라우드 데이터 관리도 제공합니다.
올해 8월에 출시 예정인 새로운 데이터 레이크에는 ACID 트랜잭션을 갖춘 Apache Hudi와 통합 데이터 카탈로그가 추가되어, 기업이 구조화되거나 구조화되지 않은 방대한 양의 엔터프라이즈 데이터를 관리하고 분석하는 방식을 혁신하여 더 나은 적시 의사 결정과 미래의 중요한 비즈니스 예측을 내릴 수 있게 되었습니다.
SOLIXCloud Enterprise Data Lake는 안전성, 보안성, 규정 준수 및 데이터 수명 주기에 대한 강력한 거버넌스와 함께 AWS, Azure, IBM Cloud, Oracle Cloud, Google Cloud 및 하이브리드 온프레미스 배포를 지원하는 멀티 클라우드 솔루션입니다.
샌디에이고 슈퍼컴퓨터 센터의 수석 과학자인 제임스 쇼트 박사는 “데이터 웨어하우스와 1세대 데이터 레이크는 기업 데이터의 저장, 구성 및 분석에 필요한 비즈니스 요구 사항을 충족하지 못해 수익성을 극대화하지 못했습니다.” 라고 말했습니다 . “솔릭스의 엔터프라이즈 데이터 레이크는 데이터 과학자, 데이터 엔지니어 및 비즈니스 분석가의 요구 사항에 맞춰 구성된 과거 및 실시간 데이터를 제공하여 새로운 통찰력을 발견하고 수익 중심의 AI 및 머신러닝 솔루션을 구축할 수 있도록 지원합니다.”
클라우드 네이티브 Solix Common Data Platform(CDP) 에서 실행되는 SOLIXCloud Enterprise Data Lake는 핵심 데이터 웨어하우스 및 데이터베이스 기능을 데이터 레이크로 직접 제공하는 3세대 트랜잭션 스트리밍 데이터 레이크 입니다 . 고성능 실시간 클라우드 데이터베이스 워크로드를 위해 설계된 SOLIXCloud Enterprise Data Lake는 스트리밍 데이터 수집, 데이터 파이프라인을 지원하며, 일관된 원자적 쓰기와 장시간 실행되는 데이터 레이크 트랜잭션에 최적화된 동시성 제어를 통해 데이터 레이크에 트랜잭션 보장을 제공합니다. 데이터 인프라가 특정 벤더에 종속되지 않도록 SOLIXCloud Enterprise Data Lake는 고객 조기 액세스 단계에서 Apache Hudi를 지원하며 , 향후 Apache Iceberg 및 Delta용 오픈 테이블 포맷도 지원할 예정입니다.
SOLIXCloud Enterprise Data Lake는 생성 AI, 스트리밍 분석 및 머신 러닝 운영(MLOps)과 같은 지능형 엔터프라이즈 애플리케이션을 위한 서버리스, 저지연 트랜잭션을 지원하는 엔드투엔드 데이터 패브릭 솔루션에 대한 고객의 증가하는 수요에 대한 대응입니다. SOLIXCloud Enterprise Data Lake는 모든 소스에서 메타데이터를 포함한 모든 데이터를 수집하고 데이터 보안, 소비자 데이터 프라이버시, 규정 준수 및 정보 수명 주기 관리(ILM)를 포함한 페더레이션 데이터 거버넌스 제어를 통해 실시간 데이터 파이프라인 솔루션을 제공합니다. SOLIXCloud Enterprise Data Lake는 기존 SOLIXCloud 솔루션 환경에 추가하여 데이터 플랫폼 기능을 빠르게 확장할 수도 있습니다.
솔릭스 테크놀로지스(Solix Technologies, Inc.)의 존 오트만 회장은 “클라우드 데이터 플랫폼은 모든 디지털 전환 전략의 초석입니다.” 라며 , “솔릭스클라우드 엔터프라이즈 데이터 레이크는 데이터 스트리밍, 데이터 거버넌스, 데이터 통합 및 데이터 엔지니어링 기능을 제공하여 고객이 데이터 자산을 최대한 활용하고 수익화할 수 있도록 지원합니다.”라고 밝혔 습니다.
Apache Hudi(Hadoop-Upserts-Deletes-Incrementals)를 위한 Open Table Formats를 사용한 SOLIXCloud Enterprise Data Lake 데이터베이스의 주요 기능은 다음과 같습니다.
ACID 트랜잭션 – Apache Hudi 데이터 레이크 프레임워크는 실시간 ACID 트랜잭션 보장을 제공하며, 장시간 실행되는 데이터 레이크 트랜잭션에 최적화된 일관성 있는 원자적 쓰기와 격리된 읽기를 통해 동시성을 제어합니다. 이러한 기능에는 테이블, 트랜잭션, 업서트/삭제, 대규모 데이터 세트를 관리하고 쿼리하기 위한 고급 인덱싱 방식, 클러스터링/압축, 쓰기와 읽기를 독립적으로 확장하고 인프라를 최적화하는 성능 최적화, 대량 삽입 및 트랜잭션 쓰기, 읽기 작업이 쓰기 작업을 차단하지 않도록 하는 스냅샷, 감사 추적이나 롤백에 유용한 과거 버전의 데이터 세트를 쿼리할 수 있는 타임 트래블 등이 포함됩니다.
고속 데이터 처리 – 스트리밍 수집을 활용한 강력한 증분식 데이터 읽기 및 쓰기 방식을 통해 느리고 비효율적인 배치 데이터 처리 작업을 혁신적으로 개선하세요. 고속 데이터 처리는 배치 데이터 처리와 함께 실행되며, Hive 및 Spark 작업에서 발생하는 과도한 리소스 소모를 줄이고 ETL 프로세스를 재구성할 수 있는 솔루션을 제공합니다. 증분 데이터 처리는 마지막 배치 처리 이후 새로 생성되거나 업데이트된 데이터만 처리하여 데이터 파이프라인의 효율성을 향상시킵니다.
고성능 로딩 – 규모가 중간 정도인 NoSQL 데이터베이스조차도 수십억 개의 행을 저장하므로 전체 데이터를 한꺼번에 로드하는 것은 불가능하며, 이러한 대용량 데이터를 효율적으로 수집하기 위해서는 보다 효율적인 접근 방식이 필요합니다. 비용이 많이 들고 비효율적인 대량 로드 방식을 업서트(Upsert) 및 증분 스트리밍을 통한 관리형 데이터 수집 방식으로 대체하여 데이터를 최신 상태로 유지하세요.
추가 SOLIXCloud Enterprise Data Lake 기능은 다음과 같습니다.
데이터 카탈로그 – 데이터 과학자와 데이터 전문가는 모든 데이터 자산에 대한 상세한 목록을 필요로 하며, 이를 통해 분석 또는 기업 인텔리전스 목적에 가장 적합한 데이터를 신속하게 찾을 수 있습니다. 주요 기능으로는 역할 기반 접근 제어, 비즈니스 용어집, 데이터 분류, 메타데이터 저장소 및 데이터 계보 추적 등이 있습니다.
로우코드 기반의 증분형 데이터 파이프라인 – 인공지능(AI), 머신러닝(ML) 및 고급 분석에 적합한 실시간 증분형 데이터 파이프라인을 구축하기 위해 데이터 엔지니어는 드래그 앤 드롭 방식으로 모든 소스에서 데이터를 수집하고 데이터 정제, 데이터 보강 또는 기타 준비 작업을 수행할 수 있는 도구가 필요합니다. Solix Data Pipeline은 파일 변환, 오류 레코드 제거, 민감한 데이터 마스킹, 태깅 및 레이블 지정, 데이터 객체를 기업 비즈니스 레코드로 결합하는 등의 작업을 통해 데이터 품질을 향상시키고 데이터 웨어하우스, 머신러닝 및 고급 분석 애플리케이션의 정확도를 높입니다.
Continuous Data Delivery 처리 프레임워크는 낮은 지연 시간, 분 단위 분석 및 변경 데이터 캡처 워크로드에 이상적입니다. 증분 수집 및 변환을 위한 선언적 템플릿을 만들고 머신 러닝 작업을 위한 Continuous Data Delivery 파이프라인을 프로비저닝합니다. 엔터프라이즈 데이터의 스케줄링, 모니터링 및 이동의 운영 부담을 자동화합니다.
변경 데이터 캡처(CDC) – 변경 데이터 캡처를 통해 데이터베이스를 데이터 레이크로 원활하고 효율적으로 수집할 수 있습니다. SOLIXCloud Enterprise Data Lake는 CDC 및 스트리밍 사용 사례 에 적합한 빠른 데이터 추가 및 삭제를 지원하도록 설계되었습니다 .
Apache Spark 는 병렬 인메모리 데이터 처리 엔진으로, 정형 및 비정형 데이터에 대한 확장 가능한 연산을 위한 세계에서 가장 널리 사용되는 엔진입니다. 포춘 500대 기업의 80%를 포함하여 수천 개의 기업이 현재 Apache Spark™를 사용하고 있습니다.
연합 데이터 거버넌스 – 연합 데이터 거버넌스는 여러 그룹이 데이터에 대한 권한을 보유할 때 중앙 집중식 제어 프레임워크를 제공합니다. 위임된 권한, 가상 정책 시행 및 감사 관리를 통해 연합 데이터 거버넌스는 원격 테이블 및 데이터에 대한 규정 준수 제어를 가능하게 하여 분산된 멀티 클라우드 데이터 운영 환경에서 위험을 줄이고 보안을 강화합니다.
데모를 예약하려면 여기를 클릭하세요.
얼리 액세스 프로그램에 신청하려면 여기를 클릭하세요.
더 자세한 내용을 확인하고 이러한 기능을 살펴보려면 Solix.com을 방문하십시오.
또한, 여기를 클릭하시면 백서를 다운로드하실 수 있습니다.