안녕하세요, 원티드랩 데이터팀 Data Quality & Governance Manager 최자연입니다.
원티드에 DQGM 직무로 1년을 보낸 기념 회고글을 작성해 보았습니다. 편히 읽어주세요!
DQGM은 뭐하는 사람일까?
Data Quality & Governance Manager(DQGM)는 데이터 관련 일을 하는 사람이라도 다소 생소 할 수 있는 직무인데, 쉽게 말해 데이터의 정책을 관리하고 품질 유지/보수하는 Role이다.
왜 이 직무로 일하게 되었을까?
DQGM으로 일하기 전, Data Analyst로 데이터 분석, 분석용 테이블 아키텍쳐 설계, 시각화, QA 까지 데이터의 전반적인 흐름을 다뤘다. 분석가로써 의사결정을 돕는 데에도 힘을 썼지만, 쌓인 데이터들의 정합성을 검증하는 데에 더 많은 시간을 쏟았었다.
데이터 종사자 모두가 수긍하는 말로 “garbage in garbage out” 이 있는데, 분석 전 개발자들과 아키텍쳐 셋팅 단계에서 어떻게 데이터를 쌓을 것인지, 원하는대로 데이터가 잘 들어오고 있는지 QA하는 데에 많은 시간을 보낸 것이다. 아마 데이터 정합성에 대한 니즈는 그 때부터 집착하고 있었던 것 같다.
Data Analyst 직무로써는 이런 일까지 더하여 다소 많은 task를 짊어지고 있던 터라, 커리어 Role에 대한 방향성과 전문성에 대한 의구심을 끊임없이 가지고 있었다. 그러던 와중에 원티드랩의 Governance Manager라는 채용공고를 보게 되었다. 처음 보는 직군이었는데 굉장히 솔깃했다. 이런 직군을 따로 구하고 있는 것을 보아 ‘데이터를 굉장히 중요하게 생각하는 회사겠다!’ 싶은 생각이 들었고, 바로 [지원 하기] 버튼을 눌렀다.
1년간 무슨 일을 했을까?
데이터 DQGM의 Role을 굵직하게 나눠보면 Data Quality, Data Architecture, Data Management, Data Catalog, Data Governance 로 나눠볼 수 있다. 각 부분에 대해 간략하게 정리해 보자면,
•
데이터 품질관리 (Data Quality)
분석 결과를 도출할 때에 보장되어야 할 가장 기본적인 부분이라고 생각한다. 모든 부서의 구성원들이 데이터 분석을 할 때 사용하고 있는 Amplitude에는 유저가 액션한 이벤트와 프로퍼티들이 적재된다. 여기에서 지켜져야 할 퀄리티 유지 작업으로 이벤트와 프로퍼티가 직관적이고 페이지/상황에 맞는 taxonomy를 가지고 있는지, 원하는 시점에 데이터가 잘 쌓이고 있는지를 확인하는 일을 담당한다.
원티드에는 스쿼드(SQ) 조직으로 프로젝트를 진행하는데, 프로젝트가 진행될 때 마다 n차에 걸쳐 이벤트를 쌓는 작업이 진행된다. 이벤트는 SQ를 담당하는 PO와 분석가가 분석을 진행할 부분에 대해 논의한 후 자체제작해 둔 시트로 요청을 받으면 검토 후 개발자에게 작업요청을 하는 방식이다.
•
분석 데이터셋 구축 (Data Architecture)
데이터팀에서는 bigquery로 DB를 조회하고 있다. 분석가들이 매번 원천 데이터를 조인해서 사용 할 수 있지만, 쿼리가 길어지고 속도가 느려질수록 bigquery 비용이 많이 드는 이슈가 발생한다. 때문에 자주 사용하고있는 테이블을 파이썬과 쿼리로 airflow를 이용해 스케줄로 등록해 두었다. 이렇게 만들어진 테이블들은 하루에 한 번씩 업데이트 되도록 analytics mart를 구축했다. 이전에 해 본 적이 없는 작업이었기 때문에 기존에 만들어져 있던 뷰테이블들을 쪼개보고 테이블별로 사용빈도를 조사하고 앞으로 만들어질 아키텍쳐를 팀원들이 사용하기에 좋을 지 싱크맞추며 작업 하느라 입사 후 가장 긴 호흡으로 작업을 했었고 지금도 유지보수 중에 있다.
•
데이터 목록 만들기 (Data Catalog)
원티드랩 구성원들이 직접 데이터 분석을 할 수 있는 환경을 만들기 위해 데이터팀에서는 꾸준히 SQL교육을 진행해 왔다. SQL을 사용하려면 기본으로 알아야 할 부분이 테이블과 컬럼인데, 데이터 카탈로그는 그 데이터들에 대한 사전이라고 볼 수 있다. 영문으로 된 테이블과 컬럼들이 무슨 데이터들이며, 어떤 의미를 담고있는지 인간의 언어로 정리해 둔 시트다. 카탈로그를 만듦으로써 데이터팀에 질문하지 않고도 쿼리할 수 있는 환경이 마련되었다. (배움에 적극적인 구성원들 싸랑해요..) Catalog의 유효성을 유지하기 위해 엔지니어께서 테이블에 대한 설명이 없을 경우, 에러 알람을 받아 볼 수 있도록 슬랙으로 작업해 두었다. 테이블 간 관계는 ERD를 따로 만들어 두었는데, 앞으로는 테이블-뷰테이블의 계층을 노드로 표현하는 Data Lineage라는 프로젝트를 진행할 예정이다!
) Catalog의 유효성을 유지하기 위해 엔지니어께서 테이블에 대한 설명이 없을 경우, 에러 알람을 받아 볼 수 있도록 슬랙으로 작업해 두었다. 테이블 간 관계는 ERD를 따로 만들어 두었는데, 앞으로는 테이블-뷰테이블의 계층을 노드로 표현하는 Data Lineage라는 프로젝트를 진행할 예정이다!•
그밖에도..
구성원들 데이터 권한관리, 신규 데이터셋 구축 로직짜기, 메타데이터 무결성 유지/보수 요청하기, 퍼포먼스 마케터와 데이터 정합성 관리하기, 신규 툴 서칭, 디자이너와 이벤트 관리 자동화(자칭 bird eye view) 등 데이터가 흐르는 원티드(데흐원)를 만들기 위해 전반적인 작업에 참여하고 있다. 최근에는 Data Management 프로젝트를 시작해서 엔지니어 분과 함께 위에 적은 각각의 카테고리 별로 관리체계를 꾸려나가고있다.
1년을 보내면서 느낀점
모든 직무가 그렇겠지만, DQGM은 뚜렷하게 Hard Skill과 Soft Skill이 둘 다 필요한 직무라고 생각한다. 서비스가 운영되면서 매 순간 씩 쌓이는 데이터(=자산)들을 어떻게 관리할 지 엔지니어&분석가와 끊임없이 소통해야하며, 그 데이터들을 효율적으로 사용하기 위해 신기술도 계속해서 익혀나가야하기 때문이다. 특히 데이터를 적재하는 부분에 있어서는 데이터의 필요성(특히 log성 데이터)을 인지하는 부분부터 코어나 서버팀과 달라서, 신기하기도 하면서 좁히기 힘든 영역인 것 같다.
돌이켜 생각해 보니 1년 전에는 너무나도 거침없이 직무 변경을 도전했지만, 지금 다시 ‘Data Analyst에서 DQGM으로 지원해 볼까?’ 하는 상황이 온다면 잠시 다시 생각 해 볼 것 같다. 하지만 데이터를 중요하게 생각하는 회사의 목표와, 열정과 실력을 겸비한 팀원들과 함께 일 하는 환경이라면 지금처럼 무조건 YES라고 답할 것 같다. 예전에도 그랬지만 일하면서 가장 필요한건 성장을 함께 할 수 있는 동료라고 생각하기 때문이다. DQGM으로써 일할 때 가장 기쁜건, 많은 구성원들과 마주하면서 성장할 수 있다는 것이라고 생각한다. 실제로도 1년 전과 비교했을때 많이 성장 한 것 같고! 다음에 또 기회가 된다면(부지런해진다면) 업무에 대한 자세한 회고록을 가지고 오길 바라며.
원티드랩 기술 블로그 바로가기 https://medium.com/wantedjobs
https://medium.com/wantedjobs