전체 글

안녕하세요, 데이터 분석가를 꿈꾸는 개인기록 블로그입니다:)
문제 설명https://school.programmers.co.kr/learn/courses/30/lessons/164673 프로그래머스코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요.programmers.co.kr 내 풀이SELECT b.TITLE, b.BOARD_ID, r.REPLY_ID, r.WRITER_ID, r.CONTENTS, DATE_FORMAT(r.CREATED_DATE, '%Y-%m-%d') as CREATED_DATEFROM USED_GOODS_BOARD b INNER JOIN USED_GOODS_REPLY r ..
부트캠프에서 지원해주던 AWS 서버 기간이 끝나서 새롭게 Local에서 Redash를 설치하려했다. 근데, 애초에 Redash 설치하는 방법이 인터넷에 잘 없기도 하고, 있다하더라도 최근 내용이 아니거나, 거의 local에 설치하지 않아서 너무 헤맸다...ㅠㅠ 거의 6-7시간동안은 진행했던 것 같다. 그래도 해결해서 다행이다! 해결하고 보니까 방법이 매우 간단하다^^ (항상 해결하고 막상 보면 쉬움;;) 0. 공식 문서 확인하기먼저, Redash github에서 제공해주는 개발 설정 과정을 확인한다. https://github.com/getredash/redash/wiki/Local-development-setup Local development setupMake Your Company Data Driv..
이번 글에서는 Redash를 이용해서 DAU, WAU, MAU 대시보드를 만들어보겠다!  Active User, 일일 활성 유저란?활성 유저는 업종 등 서비스에 따라 다르지만, 해당 서비스를 이용하는 사람을 의미한다. 활성 유저는 DAU, WAU, MAU로 구분할 수 있다.  DAU (Daily Active Users): 하루 동안 서비스에 로그인하거나 활동한 사용자 수.WAU (Weekly Active Users): 주간 동안 서비스에 로그인하거나 활동한 사용자 수.MAU (Monthly Active Users): 월간 동안 서비스에 로그인하거나 활동한 사용자 수.세 가지 지표는 일반적으로 하나의 서비스에 대한 분석을 할 때 가장 많이, 그리고 흔히 사용되는 지표이다. 이러한 세 가지 지표를 대시보드 ..
Redash는 클라우드 기반의 BI tool로, 데이터를 쉽게 시각화하여 대시보드로 나타낼 수 있는 프로그램이다. Redash는 브라우저 기반으로 접속 및 공유가 쉬우며, 쿼리 작성에 도움을 주는 단축키가 있고, 스키마를 인식하여 자동완성 또한 제공하고 있다. 또한, 자동적으로 원하는 시간에 데이터를 업데이트할 수 있는 스케줄링 기능이 있으며, 데이터의 변화가 있을 때 알람을 주는 기능 또한 가지고 있다.   https://redash.io/ Redash helps you make sense of your dataUse Redash to connect to any data source (PostgreSQL, MySQL, Redshift, BigQuery, MongoDB and many others), q..
· AWS
RDS란?RDS, 즉 Relational Database Service는 AWS 중 하나로 관계형 데이터베이스를 의미한다. 즉, 유저가 사용하기 쉽도록 인프라 등을 자동화 시켜주고 유저들은 앤드포인트로 접속할 수 있는 데이터베이스를 제공받게 된다. AWS와 같은 클라우드 상에서 관계형 데이터베이스를 사용하면, DB 설정 등과 같은 관리 작업을 자동화할 수 있고, 크기 조정이 가능한 용량을 제공받을 수 있다.  오늘은 이러한 RDS에 csv 파일을 올리고자 한다. 올리고자 하는 데이터는 약 1.2GB로 굉장히 큰 용량을 차지한다. 이렇게 csv 데이터를 RDS에 올리게 되면, 다른 사람들과 쉽게 데이터를 공유하고 쿼리문을 작성할 수 있으며, 데이터에 쉽게 접근하여 모두가 볼 수 있는 대시보드 상에도 공유할..
· AWS
데이터를 분석한 결과를 시각화하여 보여주기 위해서는 대시보드에 나타내는 방법이 있다. Tableau, Power BI 등 다양한 대시보드가 있긴 하지만, 모든 기능을 자유롭게 사용하기 위해서는 오픈소스로 나와있는 대시보드를 사용하는 것이 좋을 수도 있다. 그 중 대표적인 오픈소스 대시보드 프레임워크 중 Redash를 사용해보기로 하였다.  Redash는 우리가 알고 있는 대부분의 데이터베이스를 연동하여 사용할 수 있다. 또한, 데이터베이스의 쿼리 작업을 Redash 내부에서 할 수 있기 때문에 쿼리 작성과 데이터 분석 결과 확인 등에 용이하다. 단순히 내 컴퓨터에서 연습용으로 사용할 때는 docker 기반의 설치 파일을 이용해 로컬 내에서 사용할 수 있지만, 우리는 이 대시보드를 누군가와 공유하고 싶을 ..
· AWS
S3란?AWS(Amazon Web Service)의 S3는 Simple Storage Sevice의 약어로, 인터넷 스토리지 서비스를 의미한다. 쉽게 말하자면, 구글 드라이브처럼 파일을 저장하여 다른 사람들과 쉽게 공유할 수 있는 파일 저장 서비스를 의미한다. 프로젝트를 진행할 때는 이미지나 동영상 같이 큰 파일들을 서버에 업로드할 필요가 있는데, 이 때, S3를 사용하여 웹 스토리지에 보관해두면 쉽고 간단하게 파일을 관리할 수 있다.  S3 내의 데이터는 "버킷"이라는 리소스에 객체로 저장되며, 한 객체의 크기는 최대 5TB까지 가능하다고 한다. (거의 무한대)객체는 S3 액세스 포인트를 통해서 액세스하거나 버킷 호스트 이름을 통해 직접 액세스 할 수도 있다. 또한, AWS 최초 가입 시 1년 동안 "..
· 일기
한동안 gpt 4.0 버전만 조금씩 쓰다가 시간제한이 걸리는 게 답답해서 유료 결제를 해버렸다 기본 20달러에 수수료로 2달러를 더 떼간다;;3만 1천원 실화니?아깝지 않게 잘 써보자^^ (술 한 번 안 먹었다고 치지 뭐,,옷 한 번 안샀다고 치지 뭐,,,괜찮아,,3만원 정도는,,,)
· AWS
MFA란?다중 인증(MFA)은 말 그대로 서비스에 엑세스 할 때 최소 2개 이상의 인증을 받게끔 한 제어 방식이다. 흔히 인터넷 뱅킹 로그인 시 OTP를 사용하는 ㅠ것이 MFA 방식 중 하나라고 볼 수 있다.  왜 AWS에 MFA를?아마존 웹 서비스(AWS)는 잘못 사용하면 요금이 정말 많이 발생하기 때문에 보안이 매우 중요하다. 계정이 해킹당하면 서비스 제어권을 완전히 잃어버리는 것을 물론이고, 비트코인 채굴에 활용된다면 몇 천만원의 과금 폭탄을 받을 수 있기 떄문이다.  따라서 AWS 로그인 시에는 2개 이상의 인증 절차를 받는 MFA 사용이 권장되고 있다.  AWS에 MFA 등록 방법MFA를 반드시 설정하도록 하는 정책을 추가해보자. 그러면 MFA 없이 로그인을 했을 때 모든 요청이 거부되기 때문에..
· 프로젝트
중간에 다른 프로젝트를 진행하기도 하고, 강의 위주를 진행하느라 프로젝트에 큰 시간을 쏟지는 않았지만,지금 수강하고 있는 부트캠프(데브코스)의 최종 프로젝트를 앞두고2번의 주제를 갈아엎었으며, 약 2달 정도 주제 선정 과정을 겪었다.  첫 번째 주제는 음악 추천 서비스 제작이었다. 애초에 팀이 모였던 이유가 하나의 서비스를 만들어서 실제 사용자들에게 배포를 해보고, 그 사용자들의 만족도, 로그 데이터 등을 수집하여 정말 실제 사용자들의 분석을 해보고 싶었기 때문이었다.  그러나, 프로젝트를 기획하다보니 '데이터 분석' 프로젝트와 거리가 멀었고, 생각보다 데이터 분석이 아닌 추천 시스템 개발에 초점이 맞춰질 것 같았으며, ab 테스트를 진행해보고 싶었는데, 기존 시스템을 개선하지 않고 우리의 자체 웹 사이..
_알파카
yeonnys' 개발일지