본문 바로가기
반응형

분류 전체보기760

main 함수 import sys def main(): print('hi') if __name__=='__main__': main() else: print('hello world') 2021. 6. 22.
spotify api 설정 및 간단한 검색 spotify 가입후 dashboard에들어가서 api id, secret key를 획득하자 https://developer.spotify.com/dashboard/applications My Dashboard | Spotify for Developers Create and manage Spotify Applications to use the Spotify Web API. Obtain credentials to authenticate with Spotify and fetch metadata. developer.spotify.com https://developer.spotify.com/documentation/general/guides/authorization-guide/ Authorization Guid.. 2021. 6. 22.
AWS cli 설치 및 설정(profile 설정하여 관리) 목차 https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-install.html Installing, updating, and uninstalling the AWS CLI - AWS Command Line Interface Thanks for letting us know this page needs work. We're sorry we let you down. If you've got a moment, please tell us how we can make the documentation better. docs.aws.amazon.com 여기보면 설치 방법이 나와있다 version 1, 2 가 있는데 한가지만 설치하자(차이는 2는 최신기능 사용,1은 최.. 2021. 6. 22.
엔드 투 엔드 아키텍처 예시 통신 종단점에 유지되는 네트워크 설계 방법입니다. 이 원칙은 게이트웨이 및 라우터 와 같이 클라이언트와 끝점 사이의 중간 지점에 존재하는 기능과 대조됩니다 . 이 방법에서 중간 노드 는 데이터를 무작위로 전달합니다. 기능이 끝점에만 존재하기 때문에 차별이 없으면 기능 장애 없이 중간 노드를 다른 노드로 교체할 수 있습니다. 여기서 서비스를 찾아보면 S3 : 빅데이터 저장소 (DB는 너무 비용적으로 많이듬) amazon emr : spark에 최적화된 서버 redshift : RDB중 하나 분석에 특화된 DB, presto 엔진위에 서버리스 프레임워크 아래는 Netflix의 AWS 아키텍처이다. 대부분 보면 데이터를 수집하여 저장후 가공하여 DB 저장하거나 또 처리를 하여 보여주거나 이용하는것을 볼수 있다.. 2021. 6. 21.
데이터 파이프라인 한장소에서 다른장소로 옮기는 것 ex. db db API db 필요한 경우 데이터 소스들로부터 데이터를 생성 저장하는기 위해 데이터에서 추가적인 가치를 창출할때 데이터 사일로 - 데이터가 부서별로 고립되어 있을때 통합시키려고 할때 클라우드 환경으로 데이터 저장할때 Data silo: 데이터사일로는 한 조직 내 정보의 집합이지만, 조직 내 다른 부서는 접근할 수 없는 분리된 정보를 의미한다 Scalability: 데이터가 기하급수적으로 늘어났을때도 작동하는가? Stability: 에러, 데이터 플로우 등 다양한 모니터링 관리 Security: 데이터 이동간 보안에 대한 리스크는 무엇인가 2021. 6. 21.
데이터 시스템의 옵션들(Nosql, 병렬처리시스템, serverless) NoSql 구조화를 안해도 되며, 스키마가 sql에 비해 더 적다 NoSQL 데이터베이스에서는 데이터의 액세스 및 관리를 위해 다양한 데이터 모델을 사용 Scale out highly scalable, less expensive maintain 큰 테이터 볼륨, 짧은 지연 시간과 유연한 데이터 모델이 필요한 애플리케이션에 최적화되었으며, 이는 다른 데이터베이스의 데이터 일관성 제약 일부를 완화 사용해야하는 이유 유연성과 확장성을 비롯해 고성능의 매우 기능적인 데이터베이스를 필요로 하는 모바일, 웹이나 게이밍과 같은 다양한 현대적인 애플리케이션에 적합하기 때문이다. 유연성: NoSQL 데이터베이스는 일반적으로 유연한 스키마를 제공하여 보다 빠르고 반복적인 개발을 가능하게 해줍니다. 이같은 유연한 데이터 모.. 2021. 6. 21.
데이터 아키텍처 설계시 고려사항 1. 비용대비 비지니스 임팩트가 가장 높은 데이터 확보 2. 데이터 거버넌스 데이터 거버넌스란 데이터의 보안, 개인정보 보호, 정확성, 가용성, 사용성을 보장하기 위해 수행하는 모든 작업 원칙 - 데이터 유지관리하기 위한 원칙(보안,품질,변경관리) 조직 - 데이터를 관리할 조직의 역할과 책임(데이터 관리자, 데이터 아키텍쳐) 프로세스 - 데이터 관리를 위한 시스템(작업절차,모니터 및 측정) 3. 특정 기술 및 솔루션에 얽매여져 있지 않고 새로운 테크를 빠르게 적용할 수 있는지 4. 실시간 데이터 핸들링이 가능한지 5. 보안 6. 셀프 서비스 환경 구축 데이터 엔지니어가 작업할 수 있는 확장성 없는 데이터 분석환경이 있어야 한다고 한다 ex. BI Tools, QuerySystem fof Analysis... 2021. 6. 17.
VM vs Container 가상화가 발생하는수준 vm은 하드웨어 - HV(머신을 구성하는 각구성요소의 가상화된 인스턴스를 생성하는 역할)type1 server 위에 machine올라가면 서로 영향을 끼치지 않는다. container는 HW - kernel - os -container 일반적으로 동일한 환경에서 실행됨 공유된다. 그러나 안에서 볼수 없다.(프로세스 격리 리소스 엑세스 방법 하이퍼바이저에 의해 관리된 프로세스에 대해 이러한 격리 효과를 허용하는 linux 커널의 두가지 기능 컨테이너로 흐르는 리소스에 대해 세부적인 제어가 가능 (하이퍼바이저는 격리되어있어서 제어가 x?) 이식성 유연성 vm은 종류에대해 유연하게 설정가능하다 컨테이너빌드하기위해서는 다른장소에 이식하기 쉽다. https://www.youtube.com/w.. 2021. 6. 11.
Kubernetes vs docker 컨테이너의 스케일 아웃하려고하는것 오케스트레이션 서버와 공간을 더 효율적으로 사용할 수있다. k8s는 노드라는것을 활용 마스터 노드가 있는데 다른 노드와 모두 연결되어있다. 호스팅, 오케스트레이션 관리,시작중지관 이점 3개는 개발쉬워지고, 모니터링도구 제공, 배포, 쿠버네티스의 배포는 일회용이 아니다. 앱이 중지되면 다시 시작된다. 확장성외에 배포도 쉬워진다ㅏ. 부하 분산, 서비스 레지스터리 발견등 응용프로그램기리 대화를 할수 있게 한다. 모니터링 로그를 볼수 있도록 해준다. 그래서 보면 대규모로 조정할대는 도커, 작은 규모는 k8s를 사용하는것같다. 1. 자동배포 2. 스케일인 아웃 3. 이식성 https://dev.classmethod.jp/articles/summit-korea-report-eks/ 2021. 6. 11.
적응형 선형뉴런과 학습의 수렴 아달린 - 퍼셉트론의 향상된 버전 연속함수로 비용 함수를 정의하고 최소화하는 핵심 개념을 보여준다. 아달린 규칙(위드로우-호프 규칙)과 퍼셉트론의 가장 큰 차이점은 가중치를 업데이트 하는데 퍼셉트론처럼 단위 함수 대신 선형 활성화 함수를 사용하는 것이다. 선형 활성화 함수 ϕ(z)는 최종입력과 동일한 함수이다. 아딜린 알고리즘은 진짜 클래스 레이블과 선형 활성화 함수의 실수 출력 값을 비교하여 모델의 오차를 계산하고 가중치를 업데이트 한다. 퍼셉트론은 진짜 클래스 레이블과 예측클래스끼리만 비교한다. 경사하강법으로 비용 함수최소화 지도 학습 알고리즘의 핵심 구성 요소는 학습 과정 동안 최적화하기 위해 정의한 목적함수이다. 보통 비용함수가 목적 함수가 된다. 비용 함수 — 실수를 최소화하기 위해 학습자가 행.. 2021. 6. 10.
카카오 게임즈 채용연계형 인턴 기술지원 면접 후기 운좋게 서류 합격해서 면접을 보게 되었다. (친구말로는 사전과제를 잘했다고 했는데 친구라서 잘 말해준것 같기도하다) 코로나라 화상면접이었다. 자기소개후 기술면접 보는식인데 중간에 특정 상황 대처 방법 같은걸 물어보셨다. 기술관련 질문사항은 사전과제에 대해 물어보시고 클라우드, 그리고 학부시절 배우는 기초지식 같은걸 물어보셧다. 클라우드는 초반 질문에 대답을 잘했는데 꼬리에 꼬리물기식 질문으로 점점더 어려운 질문이 나왔다. (아무래도 모르는 질문이 나왔을때 어떻게 대처하는지 그것을 보고 싶어한것같다. ) 그리고 학부시절 배웠을만한 내용을 질문하셨는데 내가 이 직무가 구체적으로 뭘 요구하는지 몰라서 준비를 못하다 보니 제대로 답변을 한 절반정도밖에 못했다. 그것도 제대로 정리가 안되고 내가 평소에 생각하는 .. 2021. 6. 8.
API와 SDK 에 대해 알아보자~! API applicatioin program interface 인 응용 프로그램에서 사용할 수 있도록, 운영 체제나 프로그래밍 언어가 제공하는 기능을 제어할 수 있게 만든 인터페이스를 뜻한다. 라고하는데 보통 사용하는곳을 보면 통신에 관한것이라고 한다. 다른앱끼리 통신하기위한 정의 프로토콜이 있다. 기능은 추상화(abstraction) - 프로세스 단순화 표준화(stand) ex. soap, graphQl REST API 구성요소 ex. http 메소드 post put get delete(생성,수정, 읽기, 제거 순) 개발자로서 실제로 코드에서 어떻게 API를 호출할까? 작업 매개변수 엔도인트빌딩 블록등 여러 요청을 설정해야하는데 그걸 해주는게 SDK SDK software develop Kit 인 소프.. 2021. 6. 6.
반응형

티스토리툴바