본문 바로가기
반응형

분류 전체보기760

curl이란 client URL으로 커맨드라인이나 소스코드로 웹페이지와 통신할수 있게 하는 툴 curl 웹페이지(ex. http://www.google.com) 하면 웹페이지에 요청하고 응답받은내용이 커맨드에 표시된다. 옵션 요청 데이터 관련 -X, —request HTTP 메서드를 설정할 수 있다. -X GET 일반적으로는 옵션에 맞는 메서드가 적용돼 요청한다. -H —header 헤더를 보낸다. -H “Accept: text/plain" 헤더가 여러 개일 경우, 파라미터를 여러 개 붙인다. -d, —data 데이터를 전달한다. 쿼리 스트링 형태로 인자를 전달한다. -data는 --data-ascii 와 동일하다. 바이너리를 보내려면 —data-binary, URL인코딩된 값을 보내려면 —data-encode를 사.. 2021. 8. 23.
CI/CD를 위한 serverless appllication - AWS SAM 생성 CI/CD를 위한 serverless application을 만들것입니다. # 개요 우선 SAM을 이용하여 API gateway와 lambda를 SAM을 통해 만들고 도커로 로컬에서 돌려봅니다. 그게 됐다면 AWS에 수동으로 코드를 올린뒤 pipeline을 만들어 CI/CD를 구성할 것입니다. 마지막으로 canary 배포 구성을 하여 롤백테스트를 할 것입니다. AWS SAM은 명령줄 도구인 AWS SAM CLI를 제공하므로 서버리스 애플리케이션을 쉽게 생성하고 관리할 수 있습니다. 특히 Hello World 애플리케이션의 초기 골격을 생성하므로 새 프로젝트의 스캐폴딩을 쉽게 만들어 기본으로 사용하고 거기에서 프로젝트를 계속 빌드할 수 있습니다. 방금 만든 Hello World SAM 프로젝트는 배포 시 .. 2021. 8. 23.
AWS SAM(Serverless Application Model) 서버리스 애플리케이션을 구축하기 위한 오픈 소스 프레임워크 서버리스 애플리케이션는 작업을 수행하는 데 함께 작동하는 Lambda 함수, 이벤트 소스 및 기타 리소스의 조합입니다. 서버리스 애플리케이션은 단순한 Lambda 함수 이상입니다. API, 이벤트 매핑 등 추가 리소스를 포함할 수 있습니다. 일반적으로 배포를 S3에 하는데 local에서 테스트 하고 싶다면 docker를 이용하여 컨테이너를 생성해테스트 해볼수 있습니다. Docker는 macOS 시스템에서 컨테이너를 실행하는 응용 프로그램입니다.AWS SAM와 유사한 로컬 환경을 제공합니다. 도커 컨테이너를 사용함으로써 AWS lambda를 사용할 수 있습니다. 이 컨테이너를 사용하여 서버리스 응용 프로그램을 빌드, 테스트 및 디버깅할 수 있습니다.. 2021. 8. 23.
AWS 지역(region)에 따라 속도가 다름 리소스 별로 연결하고 써보면 지역마다 속도가 굉장히 다르다. 뭄바이 써봤는데 드럽게 느리길래 원래 이런가 싶었는데 미국꺼 쓰니까 엄청나게 빨랐다. 2021. 8. 20.
MLops 시나리오 이 워크샵에서는 ML 실무자가 사용하는 일반적인 절차, 즉 CRISP-DM 프로세스를 자동화하는 MLOps 파이프라인을 구현합니다. 본질적으로 CI/CD 파이프라인을 생성하여 데이터 사전 처리, 기능 엔지니어링, 모델 교육, 모델 테스트, 모델 배포 및 모델 모니터링과 같은 수동 프로세스를 자동화하게 됩니다. 모두 민첩한 DevOps 모범 사례를 사용합니다. 워크숍은 ML 실무자의 관점에서 MLOps CI/CD 파이프라인 생성 및 실행에 중점을 두는 4가지 기본 모듈로 구성됩니다. MLOps CI/CD 파이프라인 소스 및 데이터 리포지토리 구성 ML Practitioner는 AWS CodeCommit에 리포지토리를 생성하여 모델 소스 코드를 저장합니다. 또한 모델 교육 및 추론 이미지를 저장할 리포지토리.. 2021. 8. 19.
MLops 실습 개요 데이터 과학자와 ML 실무자는 ML 모델을 구축, 테스트 및 프로덕션 환경에 배포하기 위해 Jupyter 노트북 이상의 것이 필요합니다. 또한 이러한 작업을 안정적이고 유연하며 자동화된 방식으로 수행해야 합니다. 실제 비즈니스 사례를 위한 모델을 개발하기 위한 ML 여정을 시작할 때 고려해야 할 세 가지 기본 질문이 있습니다. 조직에서 코드 한 줄과 관련된 변경 사항을 배포하는 데 얼마나 걸립니까? 프로덕션에서 모델 개념 드리프트를 어떻게 설명합니까? 반복 가능하고 안정적이며 자동화된 방식으로 모델을 구축, 테스트 및 배포할 수 있습니까? 따라서 이러한 질문에 대한 너의 답변이 만족스럽지 않다면 MLOps는 다음을 수행하는 데 도움이 될 수 있는 개념입니다. CI/CD(지속적 통합/지속적 제공)를 위한 .. 2021. 8. 19.
CRISP-DM 란? CRISP-DM으로 알려진 데이터 마이닝을 위한 산업 간 표준 프로세스는 데이터 마이닝 전문가가 사용하는 일반적인 접근 방식을 설명하는 개방형 표준 프로세스 모델입니다. 가장 널리 사용되는 분석 모델입니다. 2015년에 IBM은 CRISP-DM을 개선하고 확장하는 데이터 마이닝/예측 분석을 위한 분석 솔루션 통합 방법(ASUM-DM이라고도 함)이라는 새로운 방법론을 발표했습니다. 현재 연구에 따르면 CRISP-DM은 데이터 마이닝 산업의 기존 문제를 해결한 다양한 장점으로 인해 가장 널리 사용되는 데이터 마이닝 모델입니다. 이 모델의 단점 중 일부는 프로젝트 관리 활동을 수행하지 않는다는 것입니다. CRISP-DM의 성공 이면에 있는 사실은 이것이 산업, 도구 및 응용 프로그램에 중립적이라는 것입니다. .. 2021. 8. 19.
AWS ELB(Elastic Load Balancing) 목차 Elastic Load Balancing은 들어오는 애플리케이션 트래픽을 Amazon EC2 인스턴스, 컨테이너, IP 주소, Lambda 함수, 가상 어플라이언스와 같은 여러 대상에 자동으로 분산시킵니다. Elastic Load Balancing은 단일 가용 영역 또는 여러 가용 영역에서 다양한 애플리케이션 부하를 처리할 수 있습니다. Elastic Load Balancing이 제공하는 네 가지 로드 밸런서는 모두 애플리케이션의 내결함성에 필요한 고가용성, 자동 조정, 강력한 보안을 갖추고 있습니다. Elastic Load Balancing는 로드 밸런서 유형 Application Load Balancer, Network Load Balancer 및 Classic Load Balancer를 지원합.. 2021. 8. 18.
NAT 게이트웨이 활용 개요 Elastic cache관련 구축을 진행하다가 vpc로 네트워크 구성을 해보고 싶어서 진행하였습니다. 퍼블릭 NAT 게이트웨이를 사용하여 프라이빗 서브넷의 인스턴스가 아웃바운드 트래픽을 인터넷에 전송할 수 있지만 인터넷이 해당 인스턴스에 대한 연결할수 없습니다. 학습내용 VPC 서브넷 라우팅 테이블 인터넷 게이트웨이 탄력적 IP NAT 게이트웨이 아키텍처 가용 영역 A의 퍼블릭 서브넷에는 NAT 게이트웨이가 있습니다. 가용 영역 B의 프라이빗 서브넷에는 인스턴스가 포함되어 있습니다. 라우터는 프라이빗 서브넷의 인스턴스에서 NAT 게이트웨이로 인터넷 바인딩 트래픽을 보냅니다. NAT 게이트웨이는 NAT 게이트웨이의 탄력적 IP 주소를 소스 IP 주소로 사용하여 인터넷 게이트웨이로 트래픽을 보냅니다. .. 2021. 8. 17.
OSI 7 계층 봐도봐도 까먹고 헷갈리는 개념 개념으로 먼저 보면 했던소리 또 하기도하고 추상적으로 많이 이야기해서 처음에 뭔소리지 한다. 먼저 예시를 통해 뭐가 있는지 생각하고 개념을 보는게 좋지만 처음에 헷갈리는건 어쩔수가 없는것같다. 물리 계층(Physical Layer) 전송할 기기 정의하고 물리적으로 전송할 수단 정하는 계층 전기적 신호를 통신할 물리적 기기라고 생각하면 쉽다. (2,3계층도 물리적이지만 더 세분화 됐다고 생각하면될것같다.) 예시)통신 케이블, 허브, 리피터 데이터 링크 계층(Data Link Layer) 주로 물리적 주소(MAC)로 장치를 식별하고 오류없이 전송해줄수 있게 해주는 계층 기능 회선제어: 노드와 노드간의 통신 제어 규범 오류 감지: 신호가 전달되는 동안 오류가 포함되는지를 감지한다.. 2021. 8. 17.
DHCP, Gateway DHCP 동적 호스트 설정 프로토콜 자동으로 ip를 필요로 하는 컴퓨터에 할당해주는 규약(프로토콜) 게이트웨이 쉽게 말해 다른곳으로 이동하기위한 것 좀더 구체적으로 이야기하면 서브넷이 다른 즉 네트워크간의 연결을 위한것. 그러면 라우터와 헷갈릴수 있는데 라우터는 장비라고 생각하면된다. 게이트웨이가 될수도 있고(3계층) 2021. 8. 17.
[VPC] ec2 ssh ECDSA host key 에러 ec2 퍼블릭 할당후 eip로 줫다가 연결을 끊은후 다른 ec2에 주니까 ssh 연결이 안됨 host 키가 변경됐다고 하는데 뭘까 다른 물리적 서버 ec2에 이 eip를 줘서 그런것 같다.(맨첫째줄처럼) 내가 해당 ip에 해당하는 host key가 상대 물리적 서버와 일치하지 않아서 나는 오류다. 다시 ec2 만들고 ip 할당했더니 오류가낫을때 host key를 초기화 해주면 된다. ssh-keygen -R [ IP or DomainName] mac이 아닌 window에서도 Host key verification failed. 라는 에러가 나와서 윈도우 설정이 잘못됐나 했는데 마찬가지로 하면 되더군요. 위 명령어치고 바로하면 안되고 좀 기다리니까 됐습니다. 2021. 8. 17.
반응형

티스토리툴바