프로젝트 주제 선정 회고록

중간에 다른 프로젝트를 진행하기도 하고, 강의 위주를 진행하느라 프로젝트에 큰 시간을 쏟지는 않았지만,

지금 수강하고 있는 부트캠프(데브코스)의 최종 프로젝트를 앞두고

2번의 주제를 갈아엎었으며, 약 2달 정도 주제 선정 과정을 겪었다. 

 

첫 번째 주제는 음악 추천 서비스 제작이었다. 

애초에 팀이 모였던 이유가 하나의 서비스를 만들어서 실제 사용자들에게 배포를 해보고, 

그 사용자들의 만족도, 로그 데이터 등을 수집하여 

정말 실제 사용자들의 분석을 해보고 싶었기 때문이었다. 

 

그러나, 프로젝트를 기획하다보니 '데이터 분석' 프로젝트와 거리가 멀었고, 

생각보다 데이터 분석이 아닌 추천 시스템 개발에 초점이 맞춰질 것 같았으며, 

ab 테스트를 진행해보고 싶었는데, 기존 시스템을 개선하지 않고 우리의 자체 웹 사이트를 만드는 특성상, 

우리의 서비스를 사용하지 않는 사람들에 대한 대조군 데이터, 로그 데이터 수집에 어려움이 많을 것 같아 

해당 주제를 기각하기로 결정하였다. 

 

두 번째 주제는 노인 삶의 질 개선 분석이었다.  

이 아이디어는 내가 냈던 아이디어였다. 

고령화 시대가 오면서 노인들의 삶의 질을 향상시키는게 매우 중요해졌고, 이를 기반으로 아이디어를 생각하다 보니 떠올렸던 기획이었다. 

그러나, 기획 제안을 위한 데이터가 없는게 가장 큰 문제였고, 데이터가 있어도 raw 데이터 없이 통계 데이터인 경우가 많았다. 

또한, 기업 대상에서 기획을 생각하다보니 주제와 맞는 핵심적인 데이터가 없었으며, 

이러한 데이터가 있다고 하더라도 기획 단계에서 세웠던 가설과 결론이 불일치할 가능성이 있기 때문에

진행하기 힘들었다. 

 

따라서 우리 팀은 주제를 바꾸기로 하였다. 

첫 번째 주제는 실제 사용자들을 위해 서비스를 만들어보고 싶어서 진행해보고 싶었던 주제였는데, 하지 못하게 되어 아쉬웠다. 

두 번째 주제는 사실 팀플로 진행하기 아까울 정도로 매우 아끼던 주제였고, 정말 참신한 아이디어였다고 생각해서

끝까지 주제를 바꾸고 싶지 않았지만,, 마땅히 떠오르는 해결책이 없어서 결국 주제를 바꾸게 된 게 너무너무 아쉬웠다. 

 

여러 번의 주제 변경 과정을 거치면서 취준생 입장에서 데이터 분석가라는 직무가 참 어렵게 느껴졌다. 

정말 주변에서 일어나는 일을 분석해서 새로운 인사이트를 얻어내고 싶지만, 막상 실제 데이터는 구하기 힘든 경우가 많고,

내가 원하는 데이터가 없어 원하는 분석을 하지 못한다는 사실이 너무 아쉽게 다가왔다. 

 

물론 이전에 졸업프로젝트 때처럼 직접 전수조사를 하여 데이터를 수집할 수도 있지만, 

그때도 사람을 직접 구하러 다니는 게 너무 힘들었고, 충분한 결과를 낼 만큼 수많은 사람들을 모집할 수도 없었으며,

우리 주변의 지인들을 통해 조사하기에는 나이대가 한정되거나 비슷한 생활반경에 있기 때문에 사실상 불가능에 가까웠다. 

 

"데이터가 우선인가? 기획이 우선인가?"

실제 현업에서도 내가 원하는 모든 데이터를 볼 수 있는 건 아닐 것이며, 회사에서도 모든 데이터를 보유하진 않을 것이다. 

따라서 우리는 한정된 데이터를 가지고 문제를 어떻게든 풀어나가야 한다. 

"이 과정을 어떻게 해야 할까?"라는 고민이 많이 생겼다. 

 

이러한 과정을 거치면서 "데이터 엔지니어링" 영역에 더더욱 관심이 생겼다. 

이미 ChatGPT는 내가 할 수 있는 데이터 분석보다 훨씬 뛰어나게 잘하고 있다. 

데이터가 존재한다면 GPT는 나보다 더 뛰어나지 않을까?

그렇다면 내가 어떻게 이 직무에서 살아남을 수 있을까?

고민이 많아진다

 

이제는 데이터를 분석하는 것보다 정말 많은 데이터를 효율적으로 수집하고 잘 보관하는 것이 매우 중요해진 것 같다. 

이전부터 데이터 엔지니어링 영역에 관심이 많았는데, 더더욱 관심이 생긴 것 같다. 

 

데이터 엔지니어링으로 유명한 책을 빌려봤는데, 얼른 읽어봐야겠다.