데이터 홍수의 시대 - 데이터 엔지니어, 데이터 분석가, 데이터 과학자 육성이 시급하다.

조금은 제 업무와 관련된 이야기를 해보고자 합니다. 과거 IT업무를 하다가 사업쪽 전략쪽 업무를 하고 다시 IT쪽 업무를 하게됨으로써 느껴지는 일들이 참 많이 있기 때문입니다. 

최초에 저는 빅데이터, OLAP, ETL관련된 업무를 하면서 다양한 사업분야, 산업분야의 일들을 새롭게 모델링하고 다양한 관점에서 분석을 해볼 수 있도록 구현하는 역할을 했습니다.

이러한 역할은 데이터를 수집하고 모으는 역할이고, 차곡차곡 잘 쌓아두는 역할을 말합니다. 즉, 데이터 엔지니어를 칭하는 이야기지요. 

학사급 : 데이터 엔지니어

무엇보다 이런 역할을 하는 사람은 기반을 다지는 역할을 하기 때문에 시작이 반이라는 말이 있듯이 누락되는 분야의 데이터가 있지는 않은지, 연계되지 않은 데이터는 없는지, 실제 효과적인 분석을 위해서 새롭게 정보를 만들어서 쌓아야되는 것은 없는지 등을 수시로 생각하고 반영될 수 있도록 해야합니다. 

데이터를 쌓기만 하면 하수, 정보를 만들면 중수, 예측을 하면 고수

마지막에 말씀드린 새롭게 정보를 만들어서 업무에 반영해서 쌓을 수 있도록 하는 역할은 어찌보면 업에 대한 이해와 프로세스에 대한 이해가 없다면 불가능한 일일 것입니다. 일반적으로 업무에서 사용되는 시스템을 만드는 소프트웨어 개발자와는 차원이 다른 이야기지요.

그런데 말입니다. 제가 10년여가 지난 지금에도 아직도 데이터 엔지니어만 존재를 하고 있습니다. 그마저도 고급 엔지니어는 아니죠 수집만 하고 있었으니 말이죠. 

그리고 수많은 기업들이 본인들이 쌓고 있는 수많은 데이터가 정말 큰 자산이고 역사이며, 미래를 바꿀수 있는 정보인지에 대한 인식을 하지 못하고 그대로 방치하는 경우가 많습니다. 

석사급 : 데이터 분석가

꼭 사고가 터저야 그제서야 데이터를 분석을 해보기 시작합니다. 하지만 이럴때 필요한 사람이 바로 데이터 분석가 입니다.

어찌보면 통계적일수도 있지만 이 역시나 업에 대한 이해를 바탕으로 다양한 Case by Case에 대한 이슈를 객관적인 데이터로 제시할 수 있는 역할을 하는 사람입니다. 

데이터를 정말 잘 연계해서 사업의 영향도를 분석할 수 있습니까?

데이터 분석가보다는 비즈니스 서포터라는 말이 더욱 어울릴 정도로 의사결정에 정말로 필요한 정보를 알려주는 것이지요.

생각으로 만든 방향만 설정한 전략은 명확한 근기가 되지 못하지만 비즈니스 서포터는 객관적인 과거의 경험치를 녹여서 보여줌으로써 실수와 실패를 줄이는 역할을 할 수 있습니다. 

뿐만 아니라 비즈니스 서포터는 이러한 통계적인 사실을 기반으로 각 사업부서가 하고자하는 사업의 영향도까지 뽑아낼 수가 있습니다. 

그냥 개념적인 예측(10%정도 증가할 것으로 예상됩니다.)이 아니라 객관적인 예측(과거 유사한 프로모션 진행시 5.6%증가하였며, 중간에 이런 이벤트들이 있어서 1.4%가 감소했습니다.)이 가능한 것입니다. 

어찌보면 의사결정정보를 객관적인 데이터로 명확히 이해시켜주기 때문에 경영자입장에서는 의사결정을 하기가 수월해지는 것이고, 대비하는데 시간을 더 들일 수 있을 것입니다. 

최근에 화두가 되고 있는 데이터 과학자는 데이터 엔지니어가 학사급, 데이터 분석가가 석사급이라면데이터 과학자는 박사급이라고 보시면 됩니다. 

미래의 다양한 상황을 예측해서 대비해야 한다

박사급 : 데이터 과학자

데이터 과학자는 데이터의 통계적 분석에 그치지 않고 요즘 4차 산업혁명의 화두 기술은 AI, 딥러닝 등을 접목하여 과거 경험하지 못했던 사항들이 불러올 것을 분석해 내는 사람을 이야기합니다. 

뿐만아니라 다양한 시스템의 성능까지도 고려하면서 기존 시스템의 설계까지 바꾸고, 현업 업무기반도 강하고 IT적인 기반도 강한 완전한 짬뽕인 사람이라고 생각하시면 편할 것 같습니다. 

이미 글로벌 기업들은 데이터를 통한 실시간 분석으로 본인들의 프로모션 전략을 그때그때 반응에 따라 수정하며 기업을 운영하고 있습니다. 

하지만 국내의 대부분의 기업은 사업을 하기에만 급급해서 인지 과잉재고를 만들고, 수요예측을 실패하고 그에 따라 낭비되는 비용을 체계적으로 고려할 정도까지 분석이 이루어지지 못하고 있다라는 생각이 듭니다. 

10년전이나 20년전이나 데이터를 쌓아두었어도, 다양한 환경변수가 연계될 수 있도록 쌓아두지 않았다면 무용지물입니다. 나중에 가서 보고자하면 이미 늦은 것이지요. 

정보를 만들어 의사결정하고 싶다면, 처음 쌓을때부터 제대로 쌓아야 하며(데이터 엔지니어), 이를 통해 업무영향도를 제대로 분석을 할 수 있어야 하고(데이터 분석가), 경험하지 못한 사건이 도래하였을 때를 예측할 수 있고 변화를 줄수 있는(데이터 과학자) 기업이 될 수 있도록 해야할 것입니다.