MLops 시나리오

이 워크샵에서는 ML 실무자가 사용하는 일반적인 절차, 즉 CRISP-DM 프로세스를 자동화하는 MLOps 파이프라인을 구현합니다. 본질적으로 CI/CD 파이프라인을 생성하여 데이터 사전 처리, 기능 엔지니어링, 모델 교육, 모델 테스트, 모델 배포 및 모델 모니터링과 같은 수동 프로세스를 자동화하게 됩니다. 모두 민첩한 DevOps 모범 사례를 사용합니다.

 

워크숍은 ML 실무자의 관점에서 MLOps CI/CD 파이프라인 생성 및 실행에 중점을 두는 4가지 기본 모듈로 구성됩니다.

 

MLOps CI/CD 파이프라인 소스 및 데이터 리포지토리 구성

ML Practitioner는 AWS CodeCommit에 리포지토리를 생성하여 모델 소스 코드를 저장합니다.
또한 모델 교육 및 추론 이미지를 저장할 리포지토리를 만듭니다.
ML 실무자는 Amazon S3를 사용하여 원시(처리되지 않은) 교육 데이터와 사전 처리된(변환된) 교육 데이터를 구성합니다.

 

MLOps CI/CD 파이프라인 자산 구성

ML Practitioner는 AWS CodeCommit 및 AWS CodeBuild를 사용하여 파이프라인 자동화 구성 요소 또는 자산을 저장합니다.
ML Practitioner는 또한 이러한 자산이 파이프라인에 의해 배포되기 전에 작동하는지 확인하기 위해 모든 로컬 ML 모델 테스트를 수행합니다.

 

 

MLOps CI/CD 파이프라인 구축 및 실행

구성 요소가 성문화되어 있으므로 ML Practitioner는 AWS CloudFormation을 사용하여 인프라를 코드로 배포합니다.
그런 다음 ML Practitioner는 파이프라인의 기능으로 Amazon SageMaker를 사용하여 ML 모델을 자동으로 교육합니다.

 

 

 

MLOps CI/CD 파이프라인 배포 관리

그런 다음 훈련된 모델은 스테이징 환경인 DEV - QA/개발(단순 엔드포인트)에 배포되며, 배포된 인프라가 작동하는지뿐만 아니라 모델이 프로덕션의 비즈니스 사용 사례 요구 사항을 충족하는지 확인하기 위해 테스트됩니다. 테스트 절차는 파이프라인 흐름을 더욱 최적화하기 위해 자동화됩니다.
모델이 테스트된 후 프로덕션, PRD - 프로덕션(HA/Elastic 엔드포인트)에 배포됩니다. 여기서 ML Practitioner는 프로덕션 환경이 확장할 수 있는지 테스트하고 모델을 모니터링하여 미리 결정된 원하는 수준의 성능 또는 일관된 모델 품질을 유지하는지 확인합니다.