반응형 Athena3 AWS Athena : 성능 테스트 AWS Athena Performance Test 본 내용은 Athena 를 이용하여 로그를 분석하기 위한 최적화 내용과 수행에 사용한 SQL Script, 그리고 성능 측정 자료 로 구성되어 있습니다. Overview Prerequisite Optimization SQL Script 중요 자료, 성능 측정 테스트파일 정보 및 변환 소요시간 Select (단건 파일 대용량 측면에서 측정) Select (다중 파일 대용량 측면에서 측정) Prerequisite Bucket 생성 kjham-athena 각 로그파일이 위치하는 Bucket 내 디렉토리는 다음과 같습니다. s3://kjham-athena ㄴcust_idx=value ㄴdist_idx=value ㄴyear=value ㄴmonth=value ㄴda.. 2020. 4. 25. AWS Athena : 최적화 AWS Athena Optimization CloudFront AccessLog Analysis 웹 사이트, 비디오 및 API 작업을 대기 시간이 짧고 전송 속도가 빠른 브라우저 및 클라이언트에 제공하기 위해 Amazon 에서는 CloudFront를 제공합니다. 그리고 CloudFront의 로그는 S3에 저장되도록 구성할 수 있습니다. 그리고 로그를 분석하기 위한 다양한 방안들이 있습니다. Amazon Redshift Amazon Athena Amazon ES Amazon EMR 본문에서는 일반적으로 선택하는 Athena를 이용한 방안을 다루고, 최적화 부분을 알아봅니다. Athena Optimazation 최적화를 수행하기 위해 비용과 성능 두 가지 측면이 있습니다. 비용 부분에서는 데이터 저장과 쿼리.. 2020. 4. 24. AWS Athena : 소개 Amazon Athena 란 ? Amazon Athena는 표준 SQL을 사용해 Amazon S3에 저장된 데이터를 간편하게 분석할 수 있는 대화식 쿼리 서비스입니다. Athena는 서버리스 서비스이므로 관리할 인프라가 없으며 실행한 쿼리에 대해서만 비용을 지불하면 됩니다. Athena는 사용이 쉽습니다. Amazon S3에 저장된 데이터를 가리키고 스키마를 정의한 후 표준 SQL을 사용하여 쿼리를 시작하기만 하면 됩니다. 그러면 대부분 결과가 수 초 이내에 제공됩니다. Athena에서는 데이터 분석을 준비하기 위한 복잡한 ETL 작업이 필요 없습니다. 따라서 SQL을 다룰 수 있는 사람은 누구나 신속하게 대규모 데이터 세트를 분석할 수 있습니다. Athena는 AWS Glue 데이터 카탈로그와 즉시 통.. 2020. 4. 24. 이전 1 다음 반응형
