analytics-as-code 에 대한 주절주절
2023-08-18
(data) analytics 가 체계적으로 이뤄지는 모습을 지향한다.
software engineer
(data) analytics 가 체계적으로 이뤄지는 모습을 지향한다.
AppsFlyer 라는 SaaS 서비스의 데이터를 받아와서 분석에 사용하고 싶습니다. AppsFlyer 는 Event 가 발생할 때 마다 사용자가 등록한 HTTP Endpoint 로 데이터를 쏴주는 Push API 라는 기능을 제공합니다. 그러니 HTTP Endpoint 를 만들어 요청을 받은 뒤 Kinesis Data Stream 에 넣고 S3 로 떨구기도 하는 등 후속 처리하면 되겠습니다. 찾아보니 API Gateway 를 Kinesis Proxy 로 사용할 수 있어 관련 내용을 정리해봤습니다.
Amazon RDS/Aurora Snapshot 을 S3 에 Apache Parquet 로 Export 하는 기능이 지난 1월에 출시되었습니다. Aurora MySQL 에 대해 직접 실습해보고 내용을 정리해봤습니다.
글또 4기 활동을 하면서는, 운영진 팀 2개 중 운영 자동화 팀의 일원으로도 활동합니다. 글 제출/피드백 여부 확인, 리뷰어 지정 등의 글또 운영 업무를 자동화 하는 genie 프로젝트를 관리하고 개선하는 것이 운영 자동화 팀의 역할입니다. 그 일환으로 주기적으로 Slack API 로 데이터를 받아와서 (글또 활동은 Slack 에서 이뤄짐) 처리하는 작업을 실행해야 합니다.
글또 2기, 3기에 이어 4기에도 참여합니다. 글또 활동의 시작은 역시 다짐글입니다.