마짱짱의 지식창고

0. 개요 GCP의 Database Migration Service는 IP 허용 목록, VPC 피어링, 역방향 SSH 터널을 비롯한 다양한 연결 옵션을 사용하여 데이터를 Cloud SQL로 마이그레이션하는 일회성 및 연속 작업 옵션을 제공 ( https://www.google.com/search?q=gcp+database+migration+service&oq=GCP+DATABASE+&aqs=chrome.1.69i57j0i512l8j0i30.3586j0j4&sourceid=chrome&ie=UTF-8 ) 해당 포스팅에서는 일회성 Database Migration Service 작업과 연결을 위한 IP 허용 목록을 사용하여 MySQL용 Amazon RDS 인스턴스에서 MySQL용 Cloud SQL로 MySQ..

0. 개요 GCS( https://cloud.google.com/storage?hl=ko ), Dataflow( https://cloud.google.com/dataflow?hl=ko , Apache Beam), BigQuery( https://cloud.google.com/bigquery?hl=ko ) 를 이용하여 ETL Pipeline 구축하기 모든 코드는 Cloud Shell 에서 실행합니다. 1. 샘플DATA 및 변수선언 gsutil -m cp -R gs://spls/gsp290/dataflow-python-examples . 샘플 데이터 파일 받기 export PROJECT=qwiklabs-gcp-00-e19d324b1356 gcloud config set project $PROJECT Proj..

0. 개요 Dataprep(Trifacta) 은 분석을 위해 정형 및 비정형 데이터를 시각적으로 탐색, 정리 및 준비하기 위한 지능형 데이터 서비스입니다.이 포스팅에서는 Cloud Dataprep UI를 탐색하여 결과를 BigQuery로 출력하는 데이터 변환 파이프라인을 빌드합니다. https://cloud.google.com/dataprep?hl=ko BigQuery 데이터세트를 Cloud Dataprep에 연결합니다. Cloud Dataprep으로 데이터세트 품질을 살펴보세요. Cloud Dataprep으로 데이터 변환 파이프라인을 만드세요. BigQuery에 대한 변환 작업 출력을 실행합니다. 사용할 dataset은 BigQuery에 로드된 Google Merchandise Store 에 대한 수백..

0. 개요 Cloud Deploy는 GKE, Cloud Run, Anthos 에 CD환경을 구축해주는 PaaS 제품 입니다. ( https://cloud.google.com/deploy?hl=ko ) 이번 포스팅에서는 Cloud Deploy를 사용하여 CD 파이프라인을 구축하고 Application의 Release를 형성하여 GKE에 배포합니다. 1. 필요한 변수 사전 정의 export PROJECT_ID=$(gcloud config get-value project) export REGION=us-west1 gcloud config set compute/region $REGION Cloud Shell 에서 ID 및 Resion 설정 2. GKE 생성 gcloud services enable \ conta..

0. 개요 BigQuery Omni를 사용하면 AWS S3 에 저장된 데이터에서 BigQuery 분석을 실행할 수 있습니다 . Google Cloud BigQuery와 AWS S3 사이에 승인된 연결을 만들고 데이터 이동 없이 S3 버킷에 있는 데이터를 쿼리하고 쿼리 결과를 다시 AWS S3 버킷에 씁니다. 1. AWS IAM 정책 설정하기 BigQuery Omni는 Google Cloud의 승인된 연결을 통해 Amazon S3 데이터에 액세스합니다. 각 연결에는 고유한 Amazon Web Services(AWS) Identity and Access Management(IAM) 사용자가 있습니다. AWS IAM 역할을 통해 사용자에게 권한을 부여합니다. AWS IAM 역할 내의 정책은 각 연결에 대해 B..

0. 개요 자동화된 카나리아 테스트 및 백분율 기반 트래픽 관리를 통해 개발자 분기에서 프로덕션으로 코드 진행을 실행하는 Cloud Run용 배포 파이프라인을 구현합니다. 1. 환경준비 GCP Console의 Cloud Shell 에서 진행합니다. export PROJECT_ID=$(gcloud config get-value project) export PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format='value(projectNumber)') export REGION=us-east1 gcloud config set compute/region $REGION Project, Region 변수 선언 및 gcloud region 세팅 gcloud ..