클라우데라, 아이스버그 REST 카탈로그, 레이크하우스 옵티마이저 업데이트 발표
아이스버그 REST 카탈로그, 제로 카피 데이터 공유로 TCO 절감, 가치 실현 시간 단축
레이크하우스 옵티마이저, 지능형 자동 최적화로 쿼리 성능 향상, 스토리지 비용 절감
“고객의 니즈가 높은 시점과 장소에서 유연성, 확장성, 온전한 인사이트 확보 지원"
모든 데이터 위치에서 AI를 실현하는 유일한 기업 클라우데라(한국지사장 최승철)가 클라우데라 아이스버그 REST 카탈로그(Cloudera Iceberg REST Catalog)와 클라우데라 레이크하우스 옵티마이저(Cloudera Lakehouse Optimizer) 업데이트를 발표했다.
이번 업데이트를 통해 아이스버그 REST 카탈로그는 데이터를 원활하게 공유하는 제로 카피 데이터 공유로 개방형 상호운용성을 제공하고, 레이크하우스 옵티마이저는 클라우데라 통합 거버넌스·보안 체계 아래에서 모든 엔진이 항상 최적화된 데이터를 비용 효율적으로 접근할 수 있도록 지원한다.
기업들은 AI와 데이터 분석의 잠재력을 빠르게 확보하기 위해 복잡한 데이터 아키텍처, 사일로화된 플랫폼, 불일치하는 거버넌스라는 장벽에 직면한다. 데이터 분석이나 AI 학습을 위해 데이터를 다른 시스템으로 이동하면 비용이 증가하고, 인사이트 도출이 늦어지며, 보안 위험이 발생할 수 있는 고민을 안고 있다.
결과적으로 기업은 데이터 중복이나 공급업체 종속 없이 어디서나 AI를 활용하고 다중 엔진 분석을 지원하는, 개방적이고 안전하며 상호 운용 가능한 데이터 아키텍처가 필요하다.
클라우데라 아이스버그 REST 카탈로그 - 총소유비용(TCO) 절감과 가치 실현 시간 단축
클라우데라는 데이터 라이프사이클 전반을 아우르는 플랫폼에 아이스버그 REST 카탈로그를 통합한 최초이자 유일한 기업이다. 이는 퍼블릭 클라우드, 데이터센터, 엣지 전반에서 복제나 이동 없이 서드파티 엔진이 클라우데라가 관리하는 데이터를 직접 접근할 수 있으며, 통합 정책 집행과 메타 데이터 인텔리전스를 보장한다.
클라우데라는 실시간 수집부터 대규모 처리, AI·BI 소비까지 전 영역에 대해 보안·거버넌스·상호운용성을 일관되게 제공한다. REST 기반 접근 방식은 아이스버그 역량을 확장해 기업이 통제·가시성·컴플라이언스를 유지한 채 데이터 전략을 미래 지향적으로 설계할 수 있다.
아이스버그를 사용하는 모든 클라우데라 고객은 생태계 전반에 걸쳐 제로 카피 상호운용성을 누릴 수 있다. 고객은 스노우플레이크(Snowflake), 데이터브릭스(Databricks), AWS 아테나(AWS Athena), AWS EMR, 세일즈포스(Salesforce) 등 주요 데이터 분석 및 AI 엔진에 연결하고, 완전한 ACID 규정 준수와 통합 접근 정책을 유지할 수 있다.
또한, 클라우데라의 SDX(Shared Data Experience)를 통해 서드파티 도구에도 정교한 접근 제어, 데이터 계보, 감사 기능을 확장해 안전한 데이터 민주화와 대규모 컴플라이언스를 지원한다.
고객은 개방형 메타데이터 접근으로 전용 카탈로그에 얽매이지 않고 데이터 자산을 즉시 탐색할 수 있어, 일관된 데이터 소스를 통한 AI 개발과 BI를 가속한다. 내부 고객 사례에 따르면, 데이터 스토리지 비용을 최대 79%까지 절감하면서, 부서의 데이터 가시성도 향상됐다. 한 글로벌 위성 기업은 이러한 절감 효과와 AI 데이터 파이프라인 강화를 동시에 달성했다.
클라우데라 레이크하우스 옵티마이저 - 쿼리 성능 향상과 스토리지 비용 절감
클라우데라 레이크하우스 옵티마이저는 클라우데라 레이크하우스 내 아파치 아이스버그 테이블을 위한 지능형 자동 최적화·테이블 관리 서비스다. 기본 유지보수를 넘어 매니페스트 파일 및 위치 기반 삭제 파일 재작성 등 고급 최적화를 제공해, 반복적 수작업과 운영 비용을 제거하고 데이터에서 인사이트를 뽑아내는 데 집중할 수 있게 한다.
이는 퍼블릭 클라우드 전반에서 어떤 아이스버그 호환 엔진과도 함께 사용할 수 있는 개방형 솔루션으로, 고유한 UI를 통해 정책을 테이블 단위 또는 카탈로그 단위로 세밀하게 정의 모든 아이스버그 호환 엔진에 적용할 수 있으며, 세분화된 정책 정의·수정하는 관측 가능성·통제성을 제공한다. 이 서비스는 온프레미스에서도 제공될 예정이며, 내부 벤치마크 기준으로 쿼리 성능 최대 13배 향상, 스토리지 비용 36% 절감을 확인했다.
레오 브루닉(Leo Bunnick) 클라우데라 최고제품책임자(CPO)는 “빅데이터 산업을 개척한 클라우데라는 아파치 아이스버그 오픈 테이블 포맷을 기업용으로 개발하기 위해 지속적으로 투자하는 유일한 플랫폼 기업”이라며, “이번 발표로 클라우데라는 고객의 니즈가 높은 시점과 장소에서 유연성, 확장성, 온전한 인사이트를 확보할 수 있도록 지원한다. 각 분야의 글로벌 리더가 클라우데라를 선택하는 이유가 여기에 있다”고 밝혔다.