데이터 커리어 얘기나 해볼까요?

데이터 엔지니어링 => 데이터 애널리틱스 => 데이터 사이언스

이런 순서로 이상적인 데이터 조직은 돌아갑니다.

데이터 엔지니어링은 가장 기초가 되는 날 것 그대로의 데이터를 긁어서 잘 보관해주는 역할을 합니다.

전반적인 데이터 엔지니어링이 어떻게 돌아가는지는 책 Joe Reis와 Matt Housley가 쓴 Fundamentals of Data Engineering을 추천드립니다. 이 책은 여타 다른 데이터 엔지니어링 관련 책과 다르게 좀 더 기초적인 (또는 전반적인 내용)을 다룹니다. 그렇기에 어떤 특정 기술을 연마하시고 싶으신 분들에게는 좋지 않습니다만 제 생각에는 이러한 책을 통해 전반적인 이해가 있으시면 언제 무엇을 써야하는지 더욱 잘 알지 않을까 생각합니다.

데이터 애널리틱스는 보관되어 있는 데이터를 SQL과 같은 프로그램을 통해 적재된 데이터를 분석하는 역할을 합니다. 파이썬을 쓰기도 합니다. 저는 데이터 분석가를 2가지 부류로 보는데 하나는 정리를 잘하는 분석가 입니다. 제 소견으로는 이러한 정리만 잘하는 분석가는 Chat GPT가 나오면서 사라질거라 생각합니다. 다른 분석가 부류는 인싸이트를 제공하는데 이 방식이 AI가 따라할 수 없는 종합적인 능력이 있는 분석가들입니다. 이러한 사람을 우리는 ‘선구자’라 부를지도 모르겠네요. 저는 한양대 경영학과 임형록 교수님이 그러한 분에 가깝다는 생각이 들었습니다.

그 담은 데이터 사이언스인데 이 분야는 박사 학위를 가지시지는 않아도 됩니다. 다만 (이공계) 박사학위를 받는다는 말씀은 상당히 집요하고 파고들 줄 안다는 것인데 그러한 분들에게 맞는 직업이 아닌가 싶습니다. 또한 데이터 직군들 전반적으로 수요가 커지며 데이터 분석가들 중에 파이썬을 잘 쓰는 사람을 데이터 과학자라 불리는 경향도 없지 않아 있습니다.

데이터 과학자는 분석가들이 만들어 놓은 토대위에 더욱 고도화된 수학적, 통계적 방식으로 머신러닝 모델을 만들거나 상당히 수학적인 부분을 다룹니다. 그렇기에 아무나 함부로 할 수 있는 직군은 아니고 다른 데이터 직군에 비해 상당히 눈에 뛰이는 직군이 될 수 있습니다. (물론 데이터 분석가도 decision maker (선택자)들과 가까우면 상당한 역할을 할 수 있습니다.)

자고로 비즈니스는 매출을 올리던지 비용을 최소화 해야합니다. 그러나 데이터 분야 자체가 직접적으로 매출을 올리거나 비용을 최소화 하지는 않죠. 그렇기에 초기 스타트업들은 데이터팀을 꾸리기 버거운감이 없지 않아 있습니다. 그렇기에 더더욱이 데이터의 중요성이 커질 수 록 데이터팀을 꾸리길 원하고 팀을 꾸릴때 보통 데이터 분석가 및 과학자를 먼저 영입하는 경우가 허다합니다.

그러나 데이터 엔지니어들이 없음 아무것도 제대로 할 수 없습니다. 고도화된 데이터 과학자라도 상당시간 데이터를 정리하는데 시간을 많이 보냅니다. 이런 방식으로는 본래의 의무인 고도화된 머신러닝 모델을 만들기는 커녕 데이터 정리하는 데이터 엔지니어 역할을 본인이하고 있습니다.

그렇기 데이터 관련 커리어를 20여년 넘게 밟아오신 한기용 그렙의 CTO님께서 말씀하시듯 데이터 엔지니어가 있고 나서 그 다음에 모든 데이터 예측이 가능합니다. 양질의 데이터 없이는 양질의 인사이트를 도출할 수 없습니다. 쉬운 진리이지요.

데이터 조직은 직접적으로 회사 매출에 영향을 주지 않을 수 있으나 매출에 영향을 주는 decision maker들이 선택을 내릴때 상당히 중요합니다. 군대로 따지면 정보과에 해당됩니다.

첩보가 제대로 된게 있어야 전투에 나가 승리할 수 있듯이 데이터 직군은 데이터 총량이 늘어날 수 록 더욱 중요해질거라 생각이 듭니다. 비트코인도 AI도 결국 그 뿌리는 데이터이기 때문이죠. 데이터 커리어를 고민해보면 좋을거 같습니다.

참고로 한기용선생님의 데이터 엔지니어링 강의가 50만원 돈하는데 ‘내돈내산’ 좋습니다. 전반적인 내용을 듣기 좋았구요. 데이터 엔지니어링보다 좀 더 포괄적인 내용을 듣고 싶으신 분들은 한기용 선생님의 데이터 직군 특강을 추천 드립니다.

참고글

실리콘밸리 커리어 이야기