마짱짱의 지식창고

0. 개요 해당 포스팅에서는 Kubernetes Engine에서 Jenkins를 사용하여 지속적 배포 파이프라인을 설정하는 방법을 배우게 됩니다. Jenkins는 공유 저장소에서 코드를 자주 통합하는 개발자가 즐겨 사용하는 자동화 서버입니다. 이 실습에서 빌드할 솔루션은 다음 다이어그램과 유사합니다. Jenkins 애플리케이션을 Kubernetes Engine 클러스터에 프로비저닝하기 Helm Package Manager를 사용하여 Jenkins 애플리케이션 설정하기 Jenkins 애플리케이션의 기능 살펴보기 Jenkins 파이프라인 생성 및 실습 Jenkins란 무엇인가요? Jenkins는 빌드, 테스트, 배포 파이프라인을 유연하게 조정할 수 있는 오픈소스 자동화 서버입니다. Jenkins를 사용하면 ..

0. 개요 해당 포스팅에서는 소프트웨어 제공 파이프라인을 조정하는 데 도움이 되도록 Google Kubernetes Engine에서 Jenkins를 설정하는 방법에 대해 알아봅니다. Kubernetes Engine으로 Kubernetes 클러스터 만들기 Jenkins 배포 및 서비스 만들기. 젠킨스에 연결 중입니다. 1. 환경준비 Cloud Shell 에서 Zone 설정 후 샘플코드 clone gcloud config set compute/zone us-central1-f git clone https://github.com/GoogleCloudPlatform/continuous-deployment-on-kubernetes.git cd continuous-deployment-on-kubernetes GKE..

0. 개요 GCP의 Database Migration Service는 IP 허용 목록, VPC 피어링, 역방향 SSH 터널을 비롯한 다양한 연결 옵션을 사용하여 데이터를 Cloud SQL로 마이그레이션하는 일회성 및 연속 작업 옵션을 제공 ( https://www.google.com/search?q=gcp+database+migration+service&oq=GCP+DATABASE+&aqs=chrome.1.69i57j0i512l8j0i30.3586j0j4&sourceid=chrome&ie=UTF-8 ) 해당 포스팅에서는 일회성 Database Migration Service 작업과 연결을 위한 IP 허용 목록을 사용하여 MySQL용 Amazon RDS 인스턴스에서 MySQL용 Cloud SQL로 MySQ..

0. 개요 GCS( https://cloud.google.com/storage?hl=ko ), Dataflow( https://cloud.google.com/dataflow?hl=ko , Apache Beam), BigQuery( https://cloud.google.com/bigquery?hl=ko ) 를 이용하여 ETL Pipeline 구축하기 모든 코드는 Cloud Shell 에서 실행합니다. 1. 샘플DATA 및 변수선언 gsutil -m cp -R gs://spls/gsp290/dataflow-python-examples . 샘플 데이터 파일 받기 export PROJECT=qwiklabs-gcp-00-e19d324b1356 gcloud config set project $PROJECT Proj..

0. 개요 Dataprep(Trifacta) 은 분석을 위해 정형 및 비정형 데이터를 시각적으로 탐색, 정리 및 준비하기 위한 지능형 데이터 서비스입니다.이 포스팅에서는 Cloud Dataprep UI를 탐색하여 결과를 BigQuery로 출력하는 데이터 변환 파이프라인을 빌드합니다. https://cloud.google.com/dataprep?hl=ko BigQuery 데이터세트를 Cloud Dataprep에 연결합니다. Cloud Dataprep으로 데이터세트 품질을 살펴보세요. Cloud Dataprep으로 데이터 변환 파이프라인을 만드세요. BigQuery에 대한 변환 작업 출력을 실행합니다. 사용할 dataset은 BigQuery에 로드된 Google Merchandise Store 에 대한 수백..

0. 개요 Cloud Deploy는 GKE, Cloud Run, Anthos 에 CD환경을 구축해주는 PaaS 제품 입니다. ( https://cloud.google.com/deploy?hl=ko ) 이번 포스팅에서는 Cloud Deploy를 사용하여 CD 파이프라인을 구축하고 Application의 Release를 형성하여 GKE에 배포합니다. 1. 필요한 변수 사전 정의 export PROJECT_ID=$(gcloud config get-value project) export REGION=us-west1 gcloud config set compute/region $REGION Cloud Shell 에서 ID 및 Resion 설정 2. GKE 생성 gcloud services enable \ conta..