json 으로 된 secret 의 특정 key 의 값을 cloud build 에서 env 로 주입

2025-01-22
  1. gcp 의 secret manager 에 secret 이 있고, json 이다.
  2. secret 의 특정 key 의 값을 cloud build 에서 실행되는 program 에서 사용하고 싶다.
  3. cloud build 에서 이를 native 하게 지원하진 않는다.
  4. chatgpt 는 jq 로 parsing 하는 방법을 제안했다.
  5. cloud build 에서 실행하려는 program 의 base docker image 가 python 이라, jq 를 추가로 설치해야 한다.
  6. python image 이니 그냥 python code 로 parsing 하면 되겠다.
Read More

BigQuery 에서 slot utilization 을 집계하는 SQL

2024-02-26

bigquery 에서 compute pricing 에 on-demand pricing 과 capacity pricing 으로 2가지가 있다. capacity pricing 은 slot 기반의 pricing 이다. 원하는 slot 개수만큼 임대하여 사용하고, 그만큼 비용을 지불한다. 그러니 임대한 slot 을 효과적으로 쓰고 있는지 monitoring 할 필요가 있다. 효과적으로 쓰고 있는지 = 실제 사용한 slot 개수 / 임대한 slot 개수 = slot utilization 으로 볼 수 있겠다.

Read More

PAP 2주년 행사를 위해 적어보는 지난 2023년의 기억들

2023-11-20

회사에서 나의 시간을 사용하는 행태가 많이 바뀌었다. 2022년 하반기부터 2023년 상반기까지 data 직군의 많은 동료분들이 여러 사정으로 회사를 떠났다. 그리고 조직 구조 변경에 따라, data analyst 의 manager 가 나에서 -> data analyst 가 속한 business group 의 leader 로 바뀌었다. 그 전 까지는 managing 을 나의 주요 역할과 의무로 여기며 대부분의 시간을 사용했었고, 그것만으로도 벅찼었는데, 이러한 변화들을 거치며, 많은 시간이 생겼다.

Read More