[데브코스][데이터 분석] SageMaker 소개 및 실습

< 11주차 다양한 데이터 분석과 ML 모델 만들어보기 05 >

SageMaker 소개

: AWS의 ML end-to-end Framework

(머신러닝 모델 개발을 처음부터 끝까지 해결해주는 AWS 서비스)

 

굉장히 기능이 많지만 크게 4가지 기능 존재

-  트레이닝 셋 준비 (Ground Truth)

- 모델 훈련

- 모델 검증

- 모델 배포와 관리 : API 엔드포인트, 배치 서빙, ..

 

다양한 머신러닝 프레임워크 지원

- Tensorflow, Keras, PyTorch, MXNet, ..

- 자체 SageMaker 모듈로 머신러닝 모델 훈련 가능

 

다양한 개발방식 지원

- 기본적으로 Python Notebook을 통해 모델 훈련

-> 스칼라/자바 SDK도 제공

- AutoPilot이라는 코딩 불필요 모델 훈련 기능 제공

 

Amazon SageMaker 기능

SageMaker Studio

: 다수의 프로그램을 호스팅하는 환경

주피터 노트북, RStudio, Canvas, CodeEditor, Studio Classic

 

아래와같은기능제공

• Machine Learning IDE라고 자칭
• Data Wrangler: Processing, Data Sources, Feature Store
• Studio Notebooks: Algorithms, Autopilot, JumpStart
• One-Click Training: Experiments, Automatic Model Tuning, Debugger
• One-Click Deployment: Multi-model Endpoints, Model Monitor, Pipelines

 

SageMaker Jumpstart

: 다양한 범위의 문제를 해결할 수 있는 pre-trained 오픈소스 모델 제공

 

Canva (Low/No code)

: 데이터 분석&모델링 과정을 low/no code로 진행

 

 

SageMaker Autopilot 실습

: 별도로 존재하는 것이 아닌 Canvas 내의 기능으로 바뀜

코딩을 거의 하지 않고 머신러닝 모델을 만드는 것

 

Canvas의 AutoML

AutoPilot : SageMaker Canvas에서 제공되는 AutoML 기능

* AutoML이란 모델빌딩을 위한 훈련용 데이터셋을 제공하면 자동으로 모델을 만들어주는 기능

 

- AutoPilot은 훈련용 데이터 셋을 입력으로 다음을 자동으로 수행

• 먼저 데이터 분석(EDA: Exploratory Data Analysis)을 수행
• 두 가지의 빌드 옵션: Standard와 Quick
  • Standard 옵션 : 오래걸리고돈이더들지만품질이더좋음
    • 다수의 머신 러닝 알고리즘과 하이퍼 파라미터의 조합에 대해 아래 작업을 수행
    • 머신 러닝 모델을 만들고 훈련하고 테스트하고 테스트 결과를 기록
  • Quick 옵션: 10-15분 정도로 빠르게 모델을 하나 만들어줌. 비용/시간과 성능 간의 trade-off

- 파이썬 노트북 코드를 나중에 다운로드해서 직접 개선 후 사용하는 것도 가능

-> 즉 AutoPilot 기능을 통해 모델개발 속도를 단축하는 것이 가능

 

https://catalog.us-east-1.prod.workshops.aws/workshops/80ba0ea5-7cf9-4b8c-9d3f-1cd988b6c071/en-US/1-use-cases/5-hcls

Amazon SageMaker Canvas Immersion Day