- 글또 4
- MySQL 3
- Geography 3
- AWS 7
- Apache Spark 1
- Apache Airflow 5
- Docker 2
- JVM 1
- Data Engineering Best Practices 1
- Cloud Composer 4
- Kubernetes 3
- 발표 1
- Fluent Bit 1
- GCP 1
글또
MySQL
Geography
AWS
- Aurora MySQL 스냅샷을 Parquet 로 S3 에 Export
- Fluent Bit 로 Kubernetes 에 배포된 어플리케이션 로그 수집하기
- EKS 클러스터에 간단한 Flask 어플리케이션 배포하기
- SageMaker Get Started 에 더하여 : API Gateway, Lambda 로 배포
- S3 와 Route 53 으로 원하는 도메인에 HTML 를 배포하려면?
- Airflow 에 PostgresToS3Operator 만들기
- EMR 콘솔에서 Spark, Zeppelin 클러스터 생성
Apache Spark
Apache Airflow
- Cloud Composer 에서 Airflow Web Server REST API 로 외부에서 DAG 트리거하기
- Node Pool 로 KubernetesPodOperator 를 위한 독립된 실행 환경 구성하기
- Cloud Composer 를 업무에 처음 도입하며 정리한 몇가지 생각들
- Cloud Composer 시작하기
- Airflow 에 PostgresToS3Operator 만들기
Docker
JVM
Data Engineering Best Practices
Cloud Composer
- Cloud Composer 에서 Airflow Web Server REST API 로 외부에서 DAG 트리거하기
- Node Pool 로 KubernetesPodOperator 를 위한 독립된 실행 환경 구성하기
- Cloud Composer 를 업무에 처음 도입하며 정리한 몇가지 생각들
- Cloud Composer 시작하기
Kubernetes
- Fluent Bit 로 Kubernetes 에 배포된 어플리케이션 로그 수집하기
- EKS 클러스터에 간단한 Flask 어플리케이션 배포하기
- Node Pool 로 KubernetesPodOperator 를 위한 독립된 실행 환경 구성하기