최적의 데이터 레이크하우스 구현을 원한다면!

 

실시간 데이터 분석과 고성능 데이터 처리의 중요성이 더해지고 있는 이때, AI 시대에 걸맞은 데이터 레이크하우스 전략을 위해 효성인포메이션시스템과 에이플랫폼이 힘을 합했다.

초고성능 병렬 파일시스템과 클라우드 네이티브 데이터베이스의 만남

기업들은 대용량의 다양한 데이터를 실시간으로 수집 및 분석하고 효율적으로 관리할 수 있는 데이터레이크 솔루션을 구축하고자 한다. 그리고, 다양한 장치에서 발생하는 방대한 양의 데이터를 저렴한 비용으로 구축할 수 있는 오브젝트 스토리지가 각광받고 있다.

오브젝트 스토리지가 통합 구성된 효성인포메이션시스템의 HCSF 기반 데이터레이크는 HPC 환경의 분석을 위한 방대한 양의 데이터를 비용효율적으로 저장할 수 있다.

최근, 효성인포메이션시스템은 실시간 데이터 처리와 대용량 DB의 안정적인 저장을 지원하고 생성형 AI 워크로드를 위한 고성능 데이터 처리와 최적의 데이터 레이크하우스 전략을 제시하기 위해 에이플랫폼과 손을 잡았다

데이터 웨어하우스 + 데이터레이크 = 데이터 레이크하우스

 

에이플랫폼은 실시간 빅데이터 솔루션 전문기업으로, 싱글스토어DB의 국내 총판이다. 싱글스토어DB(SingleStoreDB)는 ANSI SQL 표준기반으로 인메모리와 디스크를 활용해 높은 동시성과 빠른 성능으로 모든 형태의 데이터 처리가 가능한 클라우드 네이티브 데이터베이스이다. 싱글스토어DB는 2017년부터 벡터(VECTOR) 기능을 제공해 왔으며, 최근 ChatGPT로 부각된 생성형 AI 또는 LLM 서비스를 구축 및 도입하려는 기업들의 벡터DB로 도입 검토가 확대되고 있다.

AI 워크로드를 위한 최고의 성능과 인프라 환경 제공

기업들은 데이터 수집부터 분석, 관리, 적용까지 데이터를 실시간으로 활용할 수 있는 시스템을 구축하고, 이를 통해 인사이트를 도출하고자 한다.

이때 데이터 웨어하우스(싱글스토어DB)와 데이터 레이크(HCSF)를 연계하면 최적의 데이터 레이크하우스를 구현할 수 있다.

싱글스토어DB는 인메모리(Rowstore)와 디스크(Columnstore)를 활용한 실시간 분산병렬처리 지원을 통해 실시간 데이터 레이크하우스를 구축한다. 또한 단일 데이터 플랫폼에서 표준 SQL 기반으로 다양한 워크로드를 실시간 처리할 수 있으며, NVMe 기반의 초고성능 병렬 파일시스템과 오브젝트 스토리지가 결합된 HCSF를 통해 다양한 데이터 타입 저장과 실시간 데이터 수집 및 고속 처리 등 유연한 데이터 활용이 가능하다.

효성인포메이션시스템은 기존 고객을 대상으로 데이터레이크 시장을 공략하고, HCSF와 싱글스토어DB를 연계해 온프레미스 데이터 레이크하우스 신규 시장을 공략할 계획이다.

특히 최근 국내 주요 금융기관의 데이터레이크 구축 사업을 수주하며 시너지 효과를 입증한 양사는, 앞으로 실시간 데이터 분석 환경과 대용량 DB의 안정적이고 비용효율적인 저장이 필요한 AI 워크로드를 중심으로, 고객들의 AI 혁신을 위해 적극적인 활동을 펼칠 계획이다.