글또 2기, 3기에 이어 4기에도 참여합니다. 글또 활동의 시작은 역시 다짐글입니다.

이전 글에서 서버 로그 수집에 Fluent Bit 를 도입할 수 있을지 탐색할 계획이라고 얘기하며, EKS 로 클러스터를 띄우고 간단한 Flask 어플리케이션을 배포해봤습니다. 이번에는 Fluent Bit 으로 로그를 수집하는 간단한 데모를 진행하고 관련 내용을 정리해봤습니다.

서버 로그 수집에 Fluent Bit 를 도입할 수 있을지 탐색할 계획입니다. 현재 소속된 팀의 서버 개발자 분들은 Amazon EKS 로 Kubernetes 클러스터를 운영하고 있습니다. 그래서 일단 Kubernetes 에 대해 어느정도 이해가 필요할 것 같아서 직접 써보며 익혀보려고 합니다.

이전까지는 생성자에 schedule_interval 을 적어서 DAG 를 주기적으로 실행했습니다. 그러던 중 Airflow 외부의 배치 프로그램이 끝날 때 마다 DAG 를 Trigger 하고 싶은 상황이 생겼습니다. 방법을 찾아보다가 Triggering DAGs (workflows) 문서를 발견했고 적용해봤습니다.

올해 데이터야 놀자 행사에서 타다(TADA) 서비스의 데이터 웨어하우스 : 태초부터 현재까지 라는 제목으로 발표하고 왔습니다. 발표 자료는 Speaker Deck 에서 확인하실 수 있습니다. 힘들지만 유익했던 경험이라 느낀 점들을 글로 정리해보고 싶었습니다.