본문 바로가기
반응형

분류 전체보기760

Tensorflow 실습 첫번째 적고나니까 어차피 파일이 따로 있어서 굳이 포스팅해야하나.. 어차피 복붙이라 의미가 별로 없는것같기도 하고 아닌것같기도 하고.... 그래서 이것외에는실습은올리지 않아야 겟다. 학습 목표: 텐서플로우의 기초 개념을 학습한다 텐서플로우의 LinearRegressor 클래스를 사용하여 입력 특성 하나를 기반으로 지역별 주택 가격 중앙값을 예측한다 평균 제곱근 오차(RMSE)를 사용하여 모델 예측의 정확성을 평가한다 초매개변수를 조정하여 모델의 정확성을 개선한다 데이터의 출처는 1990년 캘리포니아 인구조사 자료입니다. 첫 번째 셀에서 필요한 라이브러리를 로드하겠습니다. from __future__ import print_function import math from IPython import display f.. 2021. 7. 25.
Pandas 실습 pandas 문서 https://pandas.pydata.org/pandas-docs/stable/index.html pandas documentation — pandas 1.3.0 documentation The reference guide contains a detailed description of the pandas API. The reference describes how the methods work and which parameters can be used. It assumes that you have an understanding of the key concepts. pandas.pydata.org Pandas의 기본 데이터 구조는 두 가지 클래스로 구현됩니다. DataFrame은 행 및 .. 2021. 7. 25.
텐서플로 시작 다음 그림은 텐서플로우 도구함의 현재 계층구조를 보여 줍니다. 그림 1. 텐서플로우 도구함 계층구조 다음 표에는 여러 레이어의 목적이 요약되어 있습니다. 도구함설명 에스티메이터(tf.estimator) 높은 수준의 OOP API tf.layers/tf.losses/tf.metrics 일반 모델 구성요소용 라이브러리 텐서플로우 낮은 수준의 API 텐서플로우는 다음 두 요소로 구성됩니다. 그래프 프로토콜 버퍼 분산된 그래프를 실행하는 런타임 이 두 구성요소는 자바 컴파일러 및 JVM과 유사합니다. JVM이 여러 하드웨어 플랫폼에서 구현되는 것과 마찬가지로 텐서플로우도 여러 CPU와 GPU에서 구현됩니다. 어느 API를 사용해야 하나요? 문제를 해결하는 최고 수준의 추상화를 사용해야 합니다. 추상화 수준이 높.. 2021. 7. 25.
경사하강법 이전에 했던게 많아서 생략을 좀했다. 이상적인 학습률에 대해 자세히 알아보세요. 1차원의 경우 이상적인 학습률은 1 / f(x)″ (x에서 f(x)의 2계도함수의 역)입니다. 2차원 이상에서 이상적인 학습률은 헤시안 행렬(2계편미분의 행렬)의 역입니다. 일반적인 볼록 함수의 경우에는 이야기가 더 복잡해집니다. 확률적 경사하강법(SGD) 경사하강법에서 배치는 단일 반복에서 기울기를 계산하는 데 사용하는 예의 총 개수입니다. 지금까지는 배치가 전체 데이터 세트라고 가정했습니다. 하지만 Google 규모의 작업에서는 데이터 세트에 수십억, 수천억 개의 예가 포함되는 경우가 많습니다. 또한 대개 Google 데이터 세트에는 엄청나게 많은 특성이 포함되어 있습니다. 따라서 배치가 거대해질 수 있습니다. 배치가 너.. 2021. 7. 25.
학습 및 손실 모델을 학습시킨다는 것은 단순히 말하자면 라벨이 있는 데이터로부터 올바른 가중치와 편향값을 학습(결정)하는 것입니다. 지도 학습에서 머신러닝 알고리즘은 다양한 예를 검토하고 손실을 최소화 하는 모델을 찾아봄으로써 모델을 만들어내는데, 이 과정을 경험적 위험 최소화라고 합니다. 손실은 잘못된 예측에 대한 벌점입니다. 즉, 손실은 한 가지 예에서 모델의 예측이 얼마나 잘못되었는지를 나타내는 수입니다. 모델의 예측이 완벽하면 손실은 0이고 그렇지 않으면 손실은 그보다 커집니다. 모델 학습의 목표는 모든 예에서 평균적으로 작은 손실을 갖는 가중치와 편향의 집합을 찾는 것입니다. 예를 들어 그림 3에서 왼쪽은 손실이 큰 모델이고 오른쪽은 손실이 작은 모델입니다. 그림에 관해 다음 사항을 참고하세요. 빨간색 화살표.. 2021. 7. 25.
선형회귀 오랫동안 귀뚜라미는 시원날 날보다 더운 날 더 자주 우는 것으로 알려져 왔습니다. 전문가 및 아마추어 곤충 학자들이 수십 년에 걸쳐서 1분당 귀뚜라미가 우는 횟수와 온도에 관한 데이터를 목록으로 작성했습니다. 고모가 생일 선물로 두 특성의 관계를 예측하는 모델을 학습시켜 보라고 아끼던 귀뚜라미 데이터베이스를 줬다고 해 봅시다. 올바른 첫 번째 단계는 데이터를 그래프로 만들어 검토하는 것입니다. 그림 1. 1분당 우는 횟수 및 섭씨온도 예상대로 그래프를 통해 우는 횟수가 증가할수록 온도가 올라가는 것을 확인했습니다. 우는 횟수와 온도는 선형 관계일까요? 네. 이 관계를 근사치로 하는 다음과 같은 하나의 직선을 그릴 수 있습니다. 그림 2. 선형 관계 사실 선이 모든 점을 완벽하게 통과하지는 않지만, 선은 .. 2021. 7. 25.
표현 label: 예측하는 실제항목(결과, 스팸 or 스팸아님) feature:데이터를 표현하는 방식 (입력 변수, 주소, 단어,) model: 예측하는 거 라벨 라벨은 예측하는 항목입니다(단순 선형 회귀의 y 변수). 밀의 향후 가격, 사진에 표시되는 동물의 종류, 오디오 클립의 의미 등 무엇이든지 라벨이 될 수 있습니다. 특성 특성은 입력 변수입니다(단순 선형 회귀의 x 변수). 간단한 머신러닝 프로젝트에서는 특성 하나를 사용하지만 복잡한 머신러닝 프로젝트에서는 다음과 같이 수백만 개의 특성을 사용할 수 있습니다. 모델 모델은 특성과 라벨의 관계를 정의합니다. 예를 들어, 스팸 감지 모델에서 특정 특성을 '스팸'과 긴밀하게 연결할 수 있습니다. 모델 수명의 두 단계를 골라 살펴보겠습니다. 학습은 모델을 만.. 2021. 7. 25.
Sticky Session SDN 개념에서 나오는것같다. Sticky session이란 쿠키 또는 세션을 사용하여 트래픽을 분산하는 기능입니다. 즉, 특정 사용자가 접속을 시도 했을때 처음 접속된 서버로 계속해서 접속되도록 트래픽을 처리하는 방식입니다 https://waspro.tistory.com/288 라고 여기서 말한다. sticky session이란 mod_jk를 이용하여 로드벨러스를 하는 연장선 상에서 생각할 수 있다. 로드밸런스를 할 경우 가장 문제가 되는 부분인 "사용자 session을 어떻게 유지할까 ?" 이다 tomcat의 cluster 기능을 이용을 해도 되지만 앞단에 방화벽등 multicast를 차단하거나 스위치나 장비에서 지원하지않으면 사용할 벙법이 없다 . 이렬경우 세션에 따라 지정된 서버로 보내는 역활을 .. 2021. 7. 23.
VPC peering https://docs.aws.amazon.com/ko_kr/vpc/latest/peering/what-is-vpc-peering.html VPC 피어링이란? - Amazon Virtual Private Cloud 이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망시켜 드려 죄송합니다. 잠깐 시간을 내어 설명서를 향상시킬 수 있는 방법에 대해 말씀해 주십시오. docs.aws.amazon.com 물리적 피어링이 1-2-3 이런식으로 되어있으면 1-3 끼리 통신할수 없다. 하지만 vpc로 피어링이 되어있다면가능 그래서 다른 리전에서 global vxlan되어 있는경우 이와 같이 피어링이 가능하다. 2021. 7. 23.
VXLAN 분산 컴퓨팅이 잘활용하게 되면서 수많은 가상컴퓨터와 네트워크가 발생하게되면서 네트워크 설정에 한계가 오고 설정하기가 매우 까다로워 진다. 그래서 생긴게 VXLAN이라고 한다. 네트워크를 1600만개를 만들수 있다고한다. https://www.cisco.com/c/ko_kr/support/docs/switches/nexus-9000-series-switches/118978-config-vxlan-00.html VXLAN 구성 이 문서에서는 VXLAN(Virtual Extensible LAN)에 대한 간략한 개요와 몇 가지 구성 예와 verification 명령을 제공합니다. www.cisco.com 좀더 쉬운 버전 https://ssup2.github.io/theory_analysis/Overlay_Net.. 2021. 7. 23.
VM Disk - thick, thin provisioning / 고정, 동적, 차이점보관 thick 은 그대로 용량할당. thin은 최대치 지정하고 차지하는 용량 만큼할당 고정 가상 하드디스크 - 말 그대로 고정된 하드디스크 용량 할당 동적 가상 하드디스크 - 변경될때마다 디스크를 변경시키는 방식 차이점 보관 - 일정 디스크를 고정시키고 변경되는 용량을 가지는디스크(자식디스크)를 가지는 구조. 2021. 7. 23.
NUMA - 불균일 기억 장치 접근 불균일 기억 장치 접근(Non-Uniform Memory Access, NUMA)는 멀티프로세서 시스템에서 사용되고 있는 컴퓨터 메모리 설계 방법중의 하나로, 메모리에 접근하는 시간이 메모리와 프로세서간의 상대적인 위치에 따라 달라진다. NUMA구조에서 프로세서는 자기의 로컬 메모리에 접근할 때가 원격 메모리에 접근할 때보다 더 빠르다. 원격 메모리는 다른 프로세서에 연결되어 있는 메모리를 말하고 로컬 메모리는 자기 프로세서에 연결되어 있는 메모리를 말한다. https://ko.wikipedia.org/wiki/불균일_기억_장치_접근 불러오는 중입니다... 로컬메모리의 접근과 원격메모리의 접근 방식이 나뉘어져 있는걸 NUMA 라고 하는것같다. https://jihooyim1.gitbooks.io/linu.. 2021. 7. 23.
반응형

티스토리툴바