AWS

RDS란?RDS, 즉 Relational Database Service는 AWS 중 하나로 관계형 데이터베이스를 의미한다. 즉, 유저가 사용하기 쉽도록 인프라 등을 자동화 시켜주고 유저들은 앤드포인트로 접속할 수 있는 데이터베이스를 제공받게 된다. AWS와 같은 클라우드 상에서 관계형 데이터베이스를 사용하면, DB 설정 등과 같은 관리 작업을 자동화할 수 있고, 크기 조정이 가능한 용량을 제공받을 수 있다.  오늘은 이러한 RDS에 csv 파일을 올리고자 한다. 올리고자 하는 데이터는 약 1.2GB로 굉장히 큰 용량을 차지한다. 이렇게 csv 데이터를 RDS에 올리게 되면, 다른 사람들과 쉽게 데이터를 공유하고 쿼리문을 작성할 수 있으며, 데이터에 쉽게 접근하여 모두가 볼 수 있는 대시보드 상에도 공유할..

데이터를 분석한 결과를 시각화하여 보여주기 위해서는 대시보드에 나타내는 방법이 있다. Tableau, Power BI 등 다양한 대시보드가 있긴 하지만, 모든 기능을 자유롭게 사용하기 위해서는 오픈소스로 나와있는 대시보드를 사용하는 것이 좋을 수도 있다. 그 중 대표적인 오픈소스 대시보드 프레임워크 중 Redash를 사용해보기로 하였다.  Redash는 우리가 알고 있는 대부분의 데이터베이스를 연동하여 사용할 수 있다. 또한, 데이터베이스의 쿼리 작업을 Redash 내부에서 할 수 있기 때문에 쿼리 작성과 데이터 분석 결과 확인 등에 용이하다. 단순히 내 컴퓨터에서 연습용으로 사용할 때는 docker 기반의 설치 파일을 이용해 로컬 내에서 사용할 수 있지만, 우리는 이 대시보드를 누군가와 공유하고 싶을 ..

S3란?AWS(Amazon Web Service)의 S3는 Simple Storage Sevice의 약어로, 인터넷 스토리지 서비스를 의미한다. 쉽게 말하자면, 구글 드라이브처럼 파일을 저장하여 다른 사람들과 쉽게 공유할 수 있는 파일 저장 서비스를 의미한다. 프로젝트를 진행할 때는 이미지나 동영상 같이 큰 파일들을 서버에 업로드할 필요가 있는데, 이 때, S3를 사용하여 웹 스토리지에 보관해두면 쉽고 간단하게 파일을 관리할 수 있다.  S3 내의 데이터는 "버킷"이라는 리소스에 객체로 저장되며, 한 객체의 크기는 최대 5TB까지 가능하다고 한다. (거의 무한대)객체는 S3 액세스 포인트를 통해서 액세스하거나 버킷 호스트 이름을 통해 직접 액세스 할 수도 있다. 또한, AWS 최초 가입 시 1년 동안 "..

Snowflake를 사용하기 위해 SQL을 통해 기본 테이블을 만들어보자! SQL Worksheet 생성 본인의 권한을 "ACCOUNTADMIN"으로 설정된 것을 확인하고 위쪽의 Projects -> Worksheets를 눌러 들어간다. 이 후, 오른쪽 상단의 + 버튼을 눌러 "SQL Worksheet"을 선택하여 SQL을 사용할 수 있는 워크시트를 만들어보자. 기본 Worksheets 이름은 시간 정보를 바탕으로 생성된다. 원하는 워크시트 이름으로 적절하게 바꾸자! (필자는 Setup-Env 로 바꿈) 또한, 위쪽의 ACCOUNTADMIN은 현재 역할(Role)을 의미하며, COMPUTE_WH는 현재 사용하고 있는 컴퓨팅 리소스를 나타낸다. 이 워크시트를 공유하고 싶다면, Share 버튼을 누르면 된다..