반응형 분류 전체보기762 [pyspark] Struct Type https://sparkbyexamples.com/pyspark/pyspark-structtype-and-structfield/ PySpark StructType & StructField Explained with Examples PySpark StructType & StructField classes are used to programmatically specify the schema to the DataFrame and create complex columns like nested sparkbyexamples.com https://docs.aws.amazon.com/ko_kr/glue/latest/dg/aws-glue-api-crawler-pyspark-extensions-types.html#aws-.. 2022. 12. 12. kinesis data firehose 동적분할 지정된 값에 따라 그룹화된 데이터를 전달하는것 KDF 를 사용하다보면 전달되는 모든 내용을 자동으로 분류 하게 되는데 이것을 지정해서 나누어 사용한다던지 할때 유용하다. 모두 스캔 할 필요없이 지정된 값만 스캔하고 세분화 하여 접근도 용이하다. https://docs.aws.amazon.com/ko_kr/firehose/latest/dev/dynamic-partitioning.html Kinesis Data Firehose Firehose의 동적 분할 - Amazon Kinesis Data Firehose 동적 분할을 활성화하는 경우 이러한 방법 중 하나 이상을 구성하여 데이터를 분할해야 합니다. 이러한 방법 중 하나를 구성하여 파티셔닝 키를 지정하거나 두 방법 모두를 동시에 지정할 수 있 docs.aw.. 2022. 12. 12. AWS RDS 수정시 변경이 발생될때 (가동 중지 되는 사항등) https://docs.aws.amazon.com/ko_kr/AmazonRDS/latest/UserGuide/Overview.DBInstance.Modifying.html#USER_ModifyInstance.ApplyImmediately 콘솔 설정 및 설명 CLI 옵션 및 RDS API 파라미터 변경이 발생할 때 가동 중지 참고 사항 지원되는 DB 엔진 할당된 스토리지 DB 인스턴스에 할당할 스토리지(단위: GiB). 할당된 스토리지만 늘릴 수 있습니다. 할당된 스토리지를 줄일 수 없습니다. 일부 이전 DB 인스턴스의 스토리지 및 이전 DB 스냅샷에서 복원된 DB 인스턴스는 수정할 수 없습니다. DB 인스턴스를 사용할 수 없는 경우 콘솔에서 할당된 스토리지 설정이 비활성화됩니다. CLI 명령 descri.. 2022. 12. 12. AWS Certified DOP(DevOps Engineer - Professional) 시험 합격 후기 목차 1. 시험 동기 4월 쯤 SAA 취득하고나서 devops 와 관련된 작업을 하고 있어 취득하면 sap보다 도움이 될것같아 dop를 시험보게 되었습니다. 2. 응시대상 하나 이상의 고급 프로그래밍 언어로 코드를 개발, 고도로 자동화된 인프라 구축, 운영 체제 관리 경험 최신 개발 및 운영 프로세스와 방법론에 대한 이해 AWS에서 지속적인 전송 시스템 및 방법론 구현 및 관리 능력 보안 제어, 거버넌스 프로세스 및 규정 준수 검증의 이해, 구현 및 자동화 능력 AWS에서 시스템 모니터링, 지표 및 로깅 시스템 정의 및 배포 능력 IAC, CICD, monitoring, operation,security 등을 사용하는 devops를 위한 시험이라는것을 알수 있습니다. 3. 시험 개요 등급: Profess.. 2022. 12. 12. Apache 2.4.X 설치 및 실행 for Windows 11 다운 받는곳 찾는게 일이었다.. https://dlcdn.apache.org/httpd/binaries/win32/ Index of /httpd/binaries/win32 Index of /dist/httpd/binaries/win32 Important Notices Name Last modified Size Description Parent Directory - HTTP Server project patches_applied/ 2022-06-17 11:25 - Official patches symbols/ 2022-06-17 11:25 - HTTP Server project LEGACY.html 2010-03-06 02: dlcdn.apache.org 4중에 아무데나 들어가면 된다. 자신에게 맞는 환경.. 2022. 12. 8. AWS CloudFront에서 HTTP 및 HTTPS 요청을 처리하는 방법 Amazon S3 오리진의 경우, CloudFront에서는 기본적으로 CloudFront 배포의 객체에 대한 HTTP 및 HTTPS 프로토콜 모두의 요청을 수락합니다. 그런 뒤 CloudFront에서는 요청이 전달된 프로토콜과 같은 프로토콜을 사용하여 이 요청을 Amazon S3 버킷에 전달합니다. https://docs.aws.amazon.com/ko_kr/AmazonCloudFront/latest/DeveloperGuide/HTTPandHTTPSRequests.html CloudFront에서 HTTP 및 HTTPS 요청을 처리하는 방법 - Amazon CloudFront CloudFront에서 HTTP 및 HTTPS 요청을 처리하는 방법 Amazon S3 오리진의 경우, CloudFront에서는 기본.. 2022. 12. 7. [Nginx] "GET / HTTP/1.1" 200 193 "-" "ELB-HealthChecker/2.0" "-" 로그 계속 나오는 경우 nginx를 fargate로 돌리는데 뭔200 로그가 health check할때마다 찍히고 있다. 난 해킹당한줄 알고 검색해봣는데 찾아보니 nginx 내부에서 헬스체크 로그를 찍는다는것을 알수 있었다. 해결방법은 nginx.conf나 default.conf(docker에서 기본 nginx 이미지를 사용하면 이걸 사용함)에 다음 코드를 추가하시면 됩니다. ... # 이것과 map $http_user_agent $ignore_useragent { default 1; "ELB-HealthChecker/2.0" 0; } server { .... location / { ... # 이것을 추가해주면 됩니다. access_log /var/log/nginx/access.log combined if=$ignore_use.. 2022. 12. 5. AWS opensearch는 public에서 private 변경 가능할까? AWS RDS는 public에서 private으로 전환이 가능하다. 그래서 비슷한 DB관리 서비스인 opensearch 또한 가능할 것같아 봤는데 도메인부터가 public과 private가 다르다. 도메인 엔드포인트의 형식이 다릅니다(https://search-domain-name 대 https://vpc-domain-name). https://docs.aws.amazon.com/ko_kr/opensearch-service/latest/developerguide/vpc.html VPC 내에서 Amazon OpenSearch Service 도메인 시작 - Amazon OpenSearch Service VPC에 OpenSearch Service 도메인을 배치하는 경우 컴퓨터가 VPC에 연결할 수 있어야 합니.. 2022. 12. 5. windows 에러: The system cannot find the file specified. Error: CreateFile C:\...........\FD3WO.DOCX: The system cannot find the file specified. make: *** [Makefile:20: template-local] Error 1 make 를 통하여 실행하는데 위 같이 에러가 발생했다. 해당 앱관련 docs 뒤져보는데 아무리 찾아도 FD3WO.DOCX 에 관련된건 없었고 여타 커뮤니티에서도 언급조차 되지 않았다. 혹시나 해서 C:\ 바로 밑에 폴더 넣고 make 명령어 실행하였더니 제대로 실행되었다. 확실하진 않지만 원인은 바로 바탕화면이라고 생각한다. 보통 바탕화면에 폴더 생성해서 거기서 작업을 하는데 cmd에서 경로 쳐보면 desktop이라고 나온다. 그래서 개인적으로 한글이 아니니까 괜.. 2022. 12. 1. git branch 분기 일반적으로 개발 운영을 나눠서 관리하기때문에 git branch에 관련하여 찾아보았다. 1. branch 생성 git branch "branch name" 2. pull 하고나서 add commit 하면 에러가 발생함 fatal: The current branch develop has no upstream branch. To push the current branch and set the remote as upstream, use git push --set-upstream origin develop 그래서 아래 명령어 치면 또 에러가발생함 warning: redirecting to https://[git-url]/ To http://[git-url] ! [rejected] develop -> develo.. 2022. 11. 29. git 저장소 name, email 설정 git 정보 확인 cat ~/.gitconfig global 설정 git config --global user.name "Your Name" git config --global user.email you@example.com 저장소별 설정(해당 저장소에 들어가서 --global만 빼면됨) git config user.name "Your Name" git config user.email you@example.com 삭제 옵션은 --unset 2022. 11. 29. AWS ECS error 톰캣 shutdown: SocketException: Permission denied ConfigServletWebServerApplicationContext : Exception encountered during context initialization - cancelling refresh attempt: org.springframework.context.ApplicationContextException: Failed to start bean 'webServerStartStop'; nested exception is org.springframework.boot.web.server.WebServerException: Unable to start embedded Tomcat server 이런 에러 뜨면서 SocketException: Permission denied 마지막에 이런 소켓 허.. 2022. 11. 25. 이전 1 ··· 18 19 20 21 22 23 24 ··· 64 다음 반응형
