[Snowflake] Snowflake 운영과 관리

Snowflake 특징 소개

- 2014년에 클라우드 기반 데이터웨어하우스로 시작됨

-> 지금은 데이터 클라우드라고 부를 수 있을 정도로 발전

- 글로벌 클라우드 위에서 모두 동작 (AWS, GCP, Azure) : 멀티클라우드

- 데이터 판매를 통한 매출을 가능하게 해주는 Data Sharing/Marketplace 제공

- ETL과 다양한 데이터 통합 기능 제공

 

- 스토리지와 컴퓨팅 인프라가 별도로 설정되는 가변 비용 모델
: Redshift 고정비용처럼 노드 수를 조정할 필요가 없고 distkey등의 최적화 불필요

 

- SQL 기반으로 빅데이터 저장, 처리, 분석을 가능하게 해줌

: 비구조화된 데이터 처리와 머신러닝 기능도 제공

 

- CSV, JSON, Avro, Parquet 등과 같은 다양한 데이터 포맷을 지원

: S3, GC 클라우드 스토리지, Azure Blog Storage도 지원 -> 멀티클라우드

 

- 배치 데이터 중심이지만 실시간 데이터 처리 지원

- Time Travel: 과거 데이터 쿼리 기능으로 트렌드를 분석하기 쉽게 해줌

 

- 웹 콘솔 이외에도 Python API를 통한 관리/제어 가능

: ODBC/JDBC 연결도 지원

 

- 자체 스토리지 이외에도 클라우드 스토리지를 외부 테이블로 사용 가능

 

- Data Marketplace -> 데이터를 판매할 수 있음

 

- Data Sharing -> 데이터를 copy하는 것이 아닌 스토리지 레벨에서 공유하는 방식

 

계정 구성

- Organizations

: 큰 회사들이 주로 사용. 한 고객이 사용하는 모든 snowflake 자원들을 통합하는 최상위 레벨 컨테이너

: 하나 혹은 그 이상의 Accounts 들로 구성됨. 

- Accounts

: 하나의 Account는 자체 사용자, 데이터, 접근권한을 독립적으로 가짐

: 한 Account는 하나 혹은 그 이상의 Database로 구성됨

- Databases

: 한 Account에 속한 데이터를 다루는 논리적인 컨테이너

: 독립적인 컴퓨팅 리소스를 가짐. 이 리소스를 Warehouse라고 부름

 

 

비용 구조

- Credit이란?

: 쿼리 실행, 데이터 로드 등의 작업 수행에 소비되는 계산 리소스를 측정하는 단위

보통 1 credit은 대략 $2~$4 비용 발생

 

비용구조는 크게 3가지 존재

- 컴퓨팅 비용 : 크레딧으로 결정

- 스토리지 비용 : TB당 계산

- 네트워크 비용 : 데이터 전송 비용

 

Snowflake 무료 시험판

https://signup.snowflake.com/

30일 혹은 최대 $400까지 사용 가능