bigquery 에서 compute pricing 에 on-demand pricing 과 capacity pricing 으로 2가지가 있다. capacity pricing 은 slot 기반의 pricing 이다. 원하는 slot 개수만큼 임대하여 사용하고, 그만큼 비용을 지불한다. 그러니 임대한 slot 을 효과적으로 쓰고 있는지 monitoring 할 필요가 있다. 효과적으로 쓰고 있는지 = 실제 사용한 slot 개수 / 임대한 slot 개수 = slot utilization 으로 볼 수 있겠다.

회사에서 나의 시간을 사용하는 행태가 많이 바뀌었다. 2022년 하반기부터 2023년 상반기까지 data 직군의 많은 동료분들이 여러 사정으로 회사를 떠났다. 그리고 조직 구조 변경에 따라, data analyst 의 manager 가 나에서 -> data analyst 가 속한 business group 의 leader 로 바뀌었다. 그 전 까지는 managing 을 나의 주요 역할과 의무로 여기며 대부분의 시간을 사용했었고, 그것만으로도 벅찼었는데, 이러한 변화들을 거치며, 많은 시간이 생겼다.

(data) analytics 가 체계적으로 이뤄지는 모습을 지향한다.

AppsFlyer 라는 SaaS 서비스의 데이터를 받아와서 분석에 사용하고 싶습니다. AppsFlyer 는 Event 가 발생할 때 마다 사용자가 등록한 HTTP Endpoint 로 데이터를 쏴주는 Push API 라는 기능을 제공합니다. 그러니 HTTP Endpoint 를 만들어 요청을 받은 뒤 Kinesis Data Stream 에 넣고 S3 로 떨구기도 하는 등 후속 처리하면 되겠습니다. 찾아보니 API Gateway 를 Kinesis Proxy 로 사용할 수 있어 관련 내용을 정리해봤습니다.

Amazon RDS/Aurora Snapshot 을 S3 에 Apache Parquet 로 Export 하는 기능이 지난 1월에 출시되었습니다. Aurora MySQL 에 대해 직접 실습해보고 내용을 정리해봤습니다.