본문 바로가기
반응형

IT/Cloud18

[GSP] QWIKLABS GSP787 - Build and Optimize Data Warehouses with BigQuery: Challenge Lab project id의 프로젝트에 'covid' 데이터셋 생성 Query 1 create table covid.oxford PARTITION BY date OPTIONS( partition_expiration_days=90 ) as SELECT * FROM `bigquery-public-data.covid19_govt_response.oxford_policy_tracker` where 1=1 and alpha_3_code not in ('GBR', 'USA') ; Query 2 ALTER TABLE covid.oxford ADD COLUMN IF NOT EXISTS population INT64, ADD COLUMN IF NOT EXISTS country_area FLOAT64, ADD COLUMN mob.. 2020. 12. 29.
[GCP] QWIKLABS GSP787 - Insights from Data with BigQuery: Challenge Lab Query 1 SELECT sum(cumulative_confirmed) as total_cases_worldwide FROM `bigquery-public-data.covid19_open_data.covid19_open_data` WHERE date='2020-04-15' Query 2 with deaths_by_states as ( SELECT subregion1_name as state, sum(cumulative_deceased) as death_count FROM `bigquery-public-data.covid19_open_data.covid19_open_data` WHERE country_name="United States of America" and date='2020-04-10' and .. 2020. 12. 27.
[AWS] AWS CLI로 s3 log 확인하기 AWS를 사용하는 사람들이면 흔히 s3에 로그를 남기기 마련이다. 그러나 로그를 확인하기 위해서는 파일을 다운받고, 일일이 풀어서 보던지 해야하는 여간 귀찮은 것이 아니다. aws cli를 설치했을 경우에는 상대적으로 쉽게 확인할 수 있다. 왜냐면 grep 이나 zcat 등을 사용할 수 있으니.... aws cli에서 s3 서비스를 사용하는 것은 다음 페이지를 이용하자. docs.aws.amazon.com/ko_kr/cli/latest/userguide/cli-services-s3-commands.html AWS CLI에서 상위 수준(s3) 명령 사용 - AWS Command Line Interface PowerShell을 사용하는 경우 셸은 CRLF의 인코딩을 변경하거나, 파이프 입력이나 출력 또는 리.. 2020. 12. 24.
[AWS] EC2 인스턴스 타입 변경시 볼륨 명 변경 이슈 기존에 AWS t3 타입 인스턴스로 사용하던 인스턴스가 메모리 부족으로 잦은 gc로 인해 m5로 인스턴스 타입을 변경했는데, 볼륨이 추가되어있던 /log 가 마운트 되지 않는 것을 발견했다. fstab 에는 정상적으로 잡혀 있었고, [centos@ip-10-75-28-73 ~]$ cat /etc/fstab # # /etc/fstab # Created by anaconda on Tue Jun 5 14:06:12 2018 # # Accessible filesystems, by reference, are maintained under '/dev/disk' # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info # UUID=8c15.. 2020. 9. 24.
[IBM] 이미지 인식 - Visual Recognition 사용하기 먼가 IBM 만의 특징을 찾던 중에, 아무래도 왓슨이 대표되는 것이라, 다른 서비스를 찾다가 발견한 것. Visual Recognition을 소개하고자 한다. Visual Recognition은 말 그대로 이미지 인식이다. 서비스를 생성해보자. 놀랍게도 서울 리전이 있다. 그래고 매월 1000개의 이벤트를 무료 제공해준다. 아무래도 서울이라서 그런지 생성은 금방 되는 편이다. 특이하게 curl을 제공한다. go, java, node, python, ruby를 제공하고 있었는데, 당연히 SDK 설치가 필요하다. 아마 나처럼 간편하게 curl 로 api 호출하지 않을까 싶다. API키는 왼쪽에 서비스 인증정보에 들어가면 확인할 수 있다. 키는 관리 메뉴에 들어가면 확인할 수 있지만, 서비스 인증정보 메뉴에 .. 2020. 9. 7.
[aws] aws cli로 오래된 s3 객체 지우기 aws cli 명령어 중에 rm으로는 s3 객체를 여러개를 한번에 지울수 없다. s3api 를 사용해서 지워야되는데, 해당되는 리스트를 만들고, 리스트에 있는 파일을 지우는 방식으로 진행했다. 2018년 12월 31일까지 수정된 파일 저장하기 aws s3api list-objects --bucket stillshot-log --query "Contents[?LastModified 2020. 9. 7.
[AWS] AWS 사용을 돕는 크롬 Extensions 추천 - AWS Sidebar chrome.google.com/webstore/detail/aws-sidebar/eghlpalflfaopljcglmhoflhfpnngfpe AWS Sidebar AWS Console Navigation Sidebar for Chrome chrome.google.com 크롬에서 AWS 콘솔을 사용하다 보면, 서비스 간 이동이 불편하다. 상단에 pin 할수 있다고는 하지만, 브라우저 마다 설정해야되서... 설치를 하고 AWS 콘솔에 접속하면 우측에 AWS 라는 탭이 하나 생긴다. 저 탭을 클릭하면 열리는데, Console, Instances, Pricing 이 있다. 콘솔은 하단에 톱니 아이콘을 클릭해서 주요 사용하는 서비스들을 설정하면 되고, 인스턴스는 AWS 키를 등록하면 EC2 리스트들이 보인다. 프.. 2020. 9. 4.
[AWS] 내 계정으로 다른 계정 전환하기 - 역할전환 AWS A 계정과 B 계정이 있을때, A계정으로 B계정의 콘솔을 접근하고 싶다 그럴때 쓰는 역할 전환 맞는지 모르겠지만 난 이렇게 쓴다. AWS Console 우측상단에 계정명을 클릭해 보면 역할 전환 메뉴가 있다. B계정에서 역할을 만들고, A 계정에서 B계정의 역할을 액세스 하고 전환하는 과정을 거친다. 상단의 역할 전환 버튼을 누르면 계정 (AWS 계정 ID) : 접속할 B 계정의 숫자 코드 12자리 역할 (명칭) 표시 이름 색상을 선택하게 되어있다. 자 그럼 이제 역할 전환을 등록해보도록 하자. 1. 역할 만들기 역할 만들때는 A 계정의 AWS 계정 ID 등록이 필요하다. AWS 계정 ID 는 내 보안 자격 증명 에서 확인이 가능하다. 숫자를 기록해두자. 그럼 이제 B계정으로 바꿔서 역할을 만들어.. 2020. 9. 4.
[GCP] Qwiklab GSP323 - Google Cloud에서 기본 데이터, ML 및 AI 작업 수행: 챌린지 실습 https://google.qwiklabs.com/quests/34 Baseline: Data, ML, AI | Qwiklabs Big data, machine learning, and artificial intelligence are today’s hot computing topics, but these fields are quite specialized and introductory material is hard to come by. Fortunately, Google Cloud provides user-friendly services in these areas and Qw google.qwiklabs.com Baseline: Data, ML, AI 를 학습하면 따라오는 챌린지. 과정은 대략 다음과 .. 2020. 8. 27.
반응형