시작하며
가을이 왔다는 것을 점차 피부로 체감하고 있는 요즘이다. 개인적으로 회고하는 시간이 익숙하지는 않지만 이렇게 지난 시간을 돌아보고 앞으로에 대한 계획을 글로 정리해볼 수 있다는 것은 참 감사한 일인 것 같다. 이번 포스팅에서는 많은 일들이 있었던 2024년의 1분기~3분기를 되돌아보고 앞으로의 계획을 정리해보는 시간을 가져보고자 한다.
2024년, 세 가지 큰 변화
개발자, 직장, 그리고 가정
문득 정신 차려보니 어느덧 개발자로 취업을 한 지도 3년이 다 되어 간다. 짧다고 보면 짧은 시간일 수 있지만 체감하는 시간에 비해 전체적으로 너무 많은 것이 변했다. 다들 겪으신 것처럼 나도 참 다양한 경험을 한 것 같고, 그 과정에서 너무 많은 일들이 있었지만 크게 요약해보면 세 가지 큰 변화가 있었다.
제일 큰 변화는 가정이 생긴 것이다.
대학생 때 처음 만난 여자친구가 6년간의 연애 끝에 이제는 와이프가 되었다. 사실 와이프와는 호칭만 바뀌었다 뿐이지 결혼 전이나 후가 크게 다르지 않은 것 같다. 변한 것은 마음이 좀 더 여유롭고 단단해진 것 같다. 안정된 생활에서 오는 행복이, 항상 조급했던 나에게도 조금 여유 있게 생각하고 소화할 수 있는 틈을 만들어 준 것 같다.
두 번째 변화는 직장에서의 역할이다.
처음에는 팀의 신입으로 들어가 무언가를 배우는 데 급급했었는데 어느덧 팀 내에서 가장 오래 생존한 팀원이 되어버렸다. 덕분에 마이데이터라는 업무에 많은 것을 이해하게 되었고 이제는 직책과 관계없이 업무를 주도해야 하는 위치가 되었다. 위치가 사람을 만든다는 것이 맞는 말이라고 느끼는 것이, 같은 업무를 볼 때에도 책임감이 다르다 보니 업무를 대하는 태도도 많이 달라졌다. 그와 더불어 타 팀과 부드럽게 소통하는 법, 팀 내 의견을 자연스럽게 조율하는 법도 미숙하지만 배울 수 있어 좋았다.
마지막은 개발자로서의 나를 알게 된 점이다.
지금 생각해보면 처음부터 기술에 그렇게 흥미가 있었던 편은 아니었던 것 같다. 좋아하기는 했지만 즐기는 정도는 아니었고, 또 알아야 할 이유를 찾기 힘든 부분에 대해서 굳이 알려고 노력하진 않았던 것 같다. 딱 안정적인 직장에 취업할 수 있을 정도로만 했던 것 같다. 하지만 지금 있는 회사에서 마이데이터라는 업무를 맡게 되면서 고객들이 보는 앱 화면부터 금융 보안, 네트워크, 아키텍처, DB 영역까지 넓은 영역을 커버하려 하다 보니 전체를 보는 안목을 기를 수 있었던 것 같다.
개인 프로젝트
직장에서 아쉬운 점은 데이터 엔지니어링을 바라보는 관점이 외부와 조금 다르다는 점이다. 최소의 비용으로 최대의 효율을 뽑아내기 위해 다양한 오픈소스를 도입하는 외부 시장과는 반대로, 금융권의 회사는 TOSS와 같은 몇몇 회사들을 제외하고는 안정성을 이유로 오픈소스를 도입하기 꺼린다.
사실 운영 비용이 충분한 상황에서 굳이 오픈소스를 도입하기보다, 비용이 더 들더라도 안정적으로 운영하는 것을 목표로 하는 것은 어쩌면 틀린 관점이 아닐지도 모른다. 다만 엔지니어 입장에서 더 어려운 문제를 해결하기 위해 여러 기술들을 도입해보고 그 해결 과정을 경험해보고 싶은 욕심은 다소 충족되기 힘든 부분은 분명히 있다. 그래서 개인적으로 이런 갈증을 해소하고자 오픈소스 & 온-프레미스 기반 데이터 엔지니어링 프로젝트를 진행하고 있다.
주제는 개인적으로 흥미가 있는 금융 시장 분석 플랫폼으로 정했다. 엔지니어링적 관점으로는 프로젝트 과정에서 서버리스 클라우드 제품은 사용하지 않고 온-프레미스로 구축해보는 것, 그리고 파이프라인 개발뿐 아니라 Observation을 통한 운영까지 해보는 것이 목적이다. 아직까지는 테스트 단계라 Airflow 배치도 자주 돌지 않고, 컴퓨팅 자원도 어떤 작업이 얼마나 잡아먹을지 몰라 스텝 by 스텝으로 밟아보고 있다. 하둡 에코시스템 기반 오픈소스와 엔지니어링 기술이 워낙 방대하다 보니 조금씩 학습해보고 적용해볼 생각이다. 그리고 이 과정에서 배운 것처럼 블로그에 포스팅하면서 정리해보려고 한다.
정리하며
10월 말부터는 기존 업무와 병행하여 사내 MLOps 구축 프로젝트에 참여하게 되었다. 이를 위해 요즘은 모델링 영역과 모델 평가, 배포 파이프라인을 위한 공부도 조금씩 하고 있다. 아직까지 MLOps 관련 경험은 없는 상태지만, 이번에도 많은 것을 배우고 경험할 수 있도록 미리미리 공부해 둬야겠다.
2024년도 벌써 마지막 분기를 앞두고 있다. 시간이 정말 빨리 간다는 것을 매년 느끼지만, 올해는 특히 더 정신없이 흘러간 것 같다. 블로그에 회고 글은 처음 올려보는데 이번 기회에 조금 빠른 회고로 다가오는 2025년을 한 발짝 미리 준비하려고 한다.