MLops 4

[MLflow] MLflow 설치 및 주요기능 설명

이전에 tensorflow 로 기본 머신러닝에 대해서 공부해보면서 Tensorboard 를 이용해본 경험이 있으실 겁니다. Mlflow도 tensorboard와 같은 기능을 제공하는 도구입니다. ML flow 주요 기능 1. Tracking : 파라미터, 결과(metrics) 등을 logging하여 결과를 UI로 확인 가능 2. Projects : 아나콘다 혹은 도커 등을 이용해서 만든 모델의 환경을 재생성할 수 있도록 지원 3. Models : 모델을 도커,AWS,Apache에 배치할 수 있도록 지원 4. Model Registry : 모델 전체 사이클을 관리하기 위한 기능 ML flow 설치 # 작업할 디렉토리 이동 ex.DO_IT cd ~/DO_IT sudo apt install upgrade pi..

MLops/MLflow 2023.01.22

[DVC] Data Version Control | 데이터와 모델 버전관리

DVC, 왜 필요한가? - data science 프로젝트를 하면서 수많은 파일과 모델 그리고 데이터셋을 다룬적이 있을 것이다. - 이러한 파일들에 대해서 버전 관리를 도와주는 오픈소스 도구이다. - Git 에는 대용량 파일을 업로드할 수 없다. - DVC를 이용해서 dvc 파일을 Git에 올리면 된다. * DVC 에 대한 더 자세한 내용은 gitgub 링크 확인 바랍니다. https://github.com/iterative/dvc 1. DVC 및 Git 설치 * DVC를 이용하기 위해서는 Git도 함께 사용하게 됩니다. Git에 대한 기본적인 이해가 있다는 가정하에 아래 설명을 하겠습니다. sudo apt install upgrade pip # 깃 설치 sudo apt install git # dvc ..

MLops/DVC 2023.01.22

[Docker] 도커 기본 명령어 정리

1. Docker pull --> Docker pull [이미지명] : [테그명] docker pull ubuntu:22.04 ## pull 의 옵션 확인 docker pull --help ## 테그명 지정 안할 시 1) 과 2) 는 같은 명령어 입니다. 최신 버전을 불러옵니다. # 1) docker pull ubuntu # 2) docker pull ubuntu:latest docker pull 뒤에 불러올 이미지명과 특정 테그를 불러오는 명령어 입니다. 2. Docker images 현재 생성된 이미지들을 확인할 수 있는 명령어 입니다. docker images # or docker image ls 3. Docker build 이미지를 생성하기 위한 명령어 입니다. 생성한 dockerfile을 bui..

MLops/Docker 2023.01.14

[Docker] Docker란? [ 설명 및 설치 방법 - Linux ]

Docker 설명 Docker 는 애플리케이션을 빠르게 구축하고, 이에 대해서 테스트 및 베포할 수 있도록 해주는 소프트 플랫폼입니다. 컨테이너 (Container) 라는 표준화된 유닛으로 서비스를 패키징하고, 이 컨테이너 안에는 소프트웨어를 실행하는데 필요한 모든 환경설정을 포함하고 있습니다. 그래서 이러한 컨테이너를 활용하여 Docker 로 환경에 구애받지 않고, (예, 운영체제, 라이브러리 버전, 등 ) 소프트웨어를 사용할 수 있도록 할 수 있습니다. 사실 이러한 설명은 와 닿지 않을 수 있습니다. 아래 예시를 읽고 위에 Docker 그림을 한번 다시 보시길 바랍니다. 예를 들어, 우리는 다른나라로 한 해에 필요한 식자재를 수출하는 프로젝트를 맡았다고 생각해 봅시다. 이 프로젝트를 성공적으로 진행시..

MLops/Docker 2023.01.14