글또 3기를 시작하며 (+ 상반기 회고)
2019-07-07
블로그 첫 글인 글또 2기를 시작하며 를 쓴지 8개월 쯤 된 오늘, 글또 3기 첫 글을 쓰게 되었습니다. 글또 2기를 마치며 에 적었듯이, 2기 때 경험이 좋아 3기에도 지원했고, 감사하게도 함께 할 수 있게 되었습니다. 개발 블로그 글쓰기는 유익하고, 글또 모임은 이에 도움이 됩니다.
3기 첫 글의 주제는 상반기 회고 입니다. 지금 있는 회사에 들어오고 병역 특례를 시작한 이례로 늘 똑같이 느끼지만, 시간은 빠르게 흐르며 매 순간은 열심히 살았던 것 같은데 돌이켜보면 기억은 희미합니다. 그래도 애써 돌이켜보면,
- 데이터 민주화 라는 레토릭(?) 을 내세워 사내 비개발자 분들께 SQL 을 가르치려는 시도를 했습니다. Notion 에 강의할 내용을 정리하고 실제로 2팀에게 (PM 팀 / 운영팀) 진행했습니다. 사내 모든 멤버들이 자유롭게 SQL 로 원하는 데이터를 조회할 수 있게 만드려는 본래 시도는 실패했고, 그래도 몇명은 강의 후에도 꾸준히 스스로 시도하고 모르는 내용들은 질문해서 답을 얻어 익히면서 이제는 어느정도 능숙하게 사용할 수 있게 되었으니 “1/3 정도의 성공” 이라고 평가해봅니다.
- Google Cloud 의 BigQuery 를 메인 OLAP 로 안착시켰습니다. 서버 DB, JSON 로그, Firebase Analytics 앱 로그, 각종 메타 데이터들이 이제 모두 BigQuery 한 곳에 모였습니다. BigQuery 는 장점이 많지만 특히 SQL 에디터가 훌륭하다는 점과, SQL 실행 결과를 BigQuery 테이블로 손 쉽게 저장할 수 있다는 점이 마음에 듭니다. 덤으로 그 과정에서 Amazon EMR 을 제대로 실무에 적용해볼 수 있었습니다. 현재는 데이터의 실시간성에 대한 니즈가 크지 않아서 1시간 마다 실행되는 배치 프로그램에 모든 ETL 작업이 순차적으로 기술되어 있는데, Workflow Management 와 Streaming 처리는 (현재 개발팀 내 R&R 하에서 Streaming 처리는 서버팀의 역할인가 싶기도…?) 여전히 남아있는 과제입니다.
- 결국 BigQuery 에 안착했다는 점은 만족스러운 결과지만, PostgreSQL 을 쓰는 과도기를 길게 가져간 점은 잘못된 선택이었습니다. PostgreSQL 에 연동된 100 여개의 BI 리포트/대시보드 들을 BigQuery 로 이전하는 노가다 작업을 하면서 그 대가를 톡톡히 치루고 있습니다. 서비스 런칭 직후 당장에 여러 BI 리포트/대시보드를 만들어야 하는 상황에서 조금이라도 익숙한 RDBMS 를 선택했던 건 피할 수 없었겠으나… 조금 무리를 해서라도 빨리 그 과도기를 끝냈어야 했다는 후회가 남았습니다.
그리고 시간은 흘러 7월이 되었고, 7월의 첫날, 월요일에는 우아한 형제들 작은 집(?) 에서 글또 3기 활동의 시작을 알리는 오프라인 모임이 있었습니다. 2기 때보다 인원 수가 2배 가량 늘었습니다. 그리고 2기 때에 비해 신입 개발자 분들이 많이 계시고, 다들 열정이나 성장 의지가 높은 것 같아 신선한 자극이 될 것 같습니다. 3기 활동에서는 2기 때 아쉬웠던 점 2가지를 개선하고자 합니다.
- 다른 분들 글을 더 열심히 읽고, 더 적극적으로 상호작용 하기.
- 시간에 쫓겨 글 주제에 타협하지 말고, 좀 더 방향성 있는 블로그 글 쓰기.