반응형 cloud9 AWS CLI를 이용하여 S3 다루기 AWS CLI를 이용하여 S3 다루기 계정 확인 프로그래밍 방식 엑세스 유형을 갖고 있는 AWS 사용자가 필요합니다. 없다면, 프로그래밍 방식 엑스스 유형을 지닌 사용자를 IAM에서 생성합니다. 그리고 Access Key, Secret Key에 대한 정보를 담은 CSV 파일을 잘 보관하도록 합니다. AWS CLI 설치 AWS의 Command Line Interface를 이용하기 위해서는 AWS CLI를 설치해야 합니다. AWS CLI 사용설명서에 더 자세한 내용이 있습니다. 본문은 Windows에 AWS CLI 버전 2 설치 항목에 해당하는 내용을 참고하여 설치를 진행하였습니다. 파일 다운로드를 하고, 설치를 진행합니다. AWS CLI Version 2는 WindowsXP 이상, 64Bit 에서만 지원합.. 2020. 4. 29. AWS SA Professional 시험 후기 프롬스의 SWDEVLAB AWS SA Professional 시험 후기 기존에 SA Associate를 합격해야만, SA Professional에 지원을 할 수 있었지만, 현재는 바로 SA Professional에 지원을 할 수 있습니다. 그래서 바로 SA Professional 자격증을 목표로 잡고 공부를 시작했습니다. 시험 공부 과정 2020년 3월 초부터 시작하여 하루에 30분, 길게는 1~2시간정도씩 약 두달간 준비를 했습니다. 가장 중요하게 생각되는 것은 무작정 관련 서적을 구매해서 공부를 하는 것 보다는 다른 사람들이 어떤 과정을 겪고 무엇을 참고해서 합격할 수 있는지에 대한 정보였습니다. 저는 인터넷에 떠돌고 있는 문제들을 참고하였고, 이해가 안가는 문제를 대상으로 하나하나 검색하면서 이해하.. 2020. 4. 29. AWS ECS : 소개 Amazon ECS 란 ? ECS의 가장 기본적인 단위는 클러스터입니다. 클러스터는 도커 컨테이너를 실행할 수 있는 가상의 공간으로 이해할 수 있습니다. ECS 클러스터는 기본적으로 EC2와 같은 컴퓨팅 자원을 기본적으로 포함하고 있지 않은 논리적인 단위입니다. 따라서 컴퓨팅 자원이 없는 빈 클러스터를 만드는 것도 가능합니다. 그리고 EC2에 ecs-client라는 서비스를 실행해서 특정 클러스터에 연결할 수 있습니다. 이렇게 클러스터에 연결된 EC2 인스턴스를 컨테이너 인스턴스라고 부릅니다. ecs-client는 컨테이너 인스턴스의 자원을 모니터링 및 관리하고, 클러스터로 요청된 컨테이너들을 적절하게 실행하는 역할을 합니다. 태스크 디피니션(task definition)과 태스크(task) ECS에서 .. 2020. 4. 26. AWS CloudFront : Log 만들기 AWS CloudFront Log 만들기 CF Log 테스트 자료를 만들기 위해 동일한 필드로 구성하여 생성할 수 있습니다. 천만건 까지 생성해봤고, 로는 BearTrail 같은 상용도구로 열어서 볼 수 있습니다. 라인 수가 너무 많으면 일반적인 에디트 도구 (notepad++) 로 열리지 않습니다. 언어는 JAVA 입니다. 로그를 생성하는 CfLogMakeService 클래스 정의입니다. import java.io.File; import java.io.FileWriter; import java.text.SimpleDateFormat; import java.util.ArrayList; import java.util.Calendar; import java.util.List; import java.util... 2020. 4. 25. AWS Athena : 성능 테스트 AWS Athena Performance Test 본 내용은 Athena 를 이용하여 로그를 분석하기 위한 최적화 내용과 수행에 사용한 SQL Script, 그리고 성능 측정 자료 로 구성되어 있습니다. Overview Prerequisite Optimization SQL Script 중요 자료, 성능 측정 테스트파일 정보 및 변환 소요시간 Select (단건 파일 대용량 측면에서 측정) Select (다중 파일 대용량 측면에서 측정) Prerequisite Bucket 생성 kjham-athena 각 로그파일이 위치하는 Bucket 내 디렉토리는 다음과 같습니다. s3://kjham-athena ㄴcust_idx=value ㄴdist_idx=value ㄴyear=value ㄴmonth=value ㄴda.. 2020. 4. 25. AWS Athena : 최적화 AWS Athena Optimization CloudFront AccessLog Analysis 웹 사이트, 비디오 및 API 작업을 대기 시간이 짧고 전송 속도가 빠른 브라우저 및 클라이언트에 제공하기 위해 Amazon 에서는 CloudFront를 제공합니다. 그리고 CloudFront의 로그는 S3에 저장되도록 구성할 수 있습니다. 그리고 로그를 분석하기 위한 다양한 방안들이 있습니다. Amazon Redshift Amazon Athena Amazon ES Amazon EMR 본문에서는 일반적으로 선택하는 Athena를 이용한 방안을 다루고, 최적화 부분을 알아봅니다. Athena Optimazation 최적화를 수행하기 위해 비용과 성능 두 가지 측면이 있습니다. 비용 부분에서는 데이터 저장과 쿼리.. 2020. 4. 24. 이전 1 2 다음 반응형
