[IT사설] 데이터 엔지니어, 데이터 분석가 그리고 데이터 사이언티스트 차이

데이터 엔지니어, 데이터 분석가 그리고 데이터 사이언티스트 차이 

 요즘 가장 핫한 직업을 꼽으라면 빠지지 않는 것이 바로 '데이터 사이언티스트(Data Scientist)'이다.  

많은 사람들이 직업을 얻기 위해, 직장에서 조금 더 좋은 대우를 받기 위해서 데이터 사이언티스트가 되고자 한다. 

실제로 많은 기업에서 많은 기업에서 데이터 사이언티스트를 채용공고하고 있으며, 

많은 구직자가 데이터 사이언티스트의 역할을 하기 위해 지원한다.  

그리고 그런 구직자들 중 대부분이 데이터 사이언티스트로써의 경험이 없고, 

데이터 사이언티스트가 하는 일이 무엇인지 명확하게 정의하지 못한다. 

현업에서도 크게 다르지 않은 것 같다. 

데이터 분석가와 사이언티스트의 구분을 느낌적으로 하는 이들이 대다수 이며 

데이터 엔지니어를 구분하지 못하고 비즈니스 분석을 요구하는 이들도 있다. 

왜 이렇게 구분하기 어려운걸까?

데이터 엔지니어, 데이터 분석가, 데이터 사이언티스트를 구분하기 어려운 이유

일반적으로 데이터 엔지니어의 역할의 구분은 

데이터 분석가와 데이터 사이언티스트의 구분보다는 조금 더 명확한 편이다. 

하지만 이 역할 또한 헷갈린다고 한다면 다음 이유가 아닌가 싶다. 

많은 회사들 각 역할 정의를 서로 다르게 하고 있다.

직군(Job title)만으로 그 사람이 어떤 일을 하거나 기술셋을 가지고 있는지 정확히 묘사하기 어렵다. 

 그리고 실무에서는 각 직군들의 역할이 서로 공유되거나 중복되는 경우가 발생할 수 있다.  

몇몇의 스타트업 기업이나 중소기업 (그리고 일부 대기업)에서  

데이터 과학자 데이터 분석가의 역할을 하기도 하며, 

또 데이터 엔지니어가 데이터 분석가의 역할을 강요받기도 한다.  

데이터 과학(Data Science) 영역이 등장이 도래되지 않아 모두에게 익숙하지 않다.  

데이터에 연구는 과거부터 많이 있었지만 빅데이터의 등장과 보급화로 인해 그 중요성과 관심이 부각되었으며 

2012년 '21세기 가장 섹시한 직업' 으로 데이터 과학자Data Scientist가 선정되면서 

Data science라는 용어가 전문분야로 자리잡게 되었다.(ref.wiki)

  

데이터 엔지니어, 분석가 그리고 과학자가 수행하는 업무 구분 

데이터 엔지니어(Data Engineer)가 하는 일 

큰 규모의 확장성 높은 시스템을 설계/구축한다. 

데이터 처리 시스템 성능 최적화 작업을 수행한다.

 데이터 전처리 작업을 수행한다. 

등등

데이터 분석가(Data Analyst)가 하는 일 

데이터를 분석하고, 처리하고 요약한다. 

데이터의 정보 모아서 비즈니스에 의미있는 결과를 만든다. 

분석 도구를 사용해 데이터 보고서를 설계/생성한다.

등등

데이터 과학자(Data Scientist)가 하는 일

과거 패턴으로부터 미래를 예측한다. 

서로 연결되지 않은 다수의 데이터로부터 탐구하고 실험한다.  

비즈니스에 여러 알고리즘을 적용시켜 특정 업무에 맞는 모델을 작성한다. 

새로운 분석 모델이나 머신러닝 모델을 수정/개발한다.

등등 

데이터 과학자와 데이터 분석가의 공통점 

두 역할 모두 쿼리query를 작성하고 데이터 엔지니어와 같이 작업한다. 

데이터 엔지니어는 올바른 데이터를 소스source 시스템에 전달해주고, 

분석/해석하기 쉽게 변형해주며 데이터 자체의 특성을 가이드한다. 

고객/사용자와 밀접하게 커뮤니케이션 해야 하며, 

비즈니스 분석을 통해 업무 및 데이터의 특성을 파악해야 한다.  

 

데이터 과학자와 데이터 분석가의 차이점 

데이터 분석가도 데이터 과학자와 같은 활동을 많이 한다.   

하지만 세부 분야는 구분되어 있다. 

일반적으로 데이터 과학자는 비즈니스 특성을 수식화(함수화)하여 그것을 비즈니스에 적용한다. 

반면 분석가는 문제상황의 해결을 위한 분석을 수행하여 가이드를 제시한다.

일반적으로 데이터 과학자는 통계모델, 머신러닝 그리고 프로그래밍(R, python, scala등)을 수행한다.

데이터 분석가는 전통적으로 구조화된 SQL을 사용하여 DB 또는 BI도구/패키지를 이용해 분석을 수행한다. 

데이터 과학자는 데이터를 변환하여 시각화를 활용해 비즈니스 스토리에서 그 결과를 적용해야 한다. 

데이터 분석가는 데이터를 변환하기 보단 데이터 결과를 바탕으로 보고서를 제공한다. 

그리고 지금의 인식.. 

글에 조금 더 살을 붙이기 위해 구글신에게 질문을 던지던 중 

위와 같은 이미지를 발견했다.

  

완벽한 데이터 과학자는 커뮤니케이션, 통계, 프로그래밍, 

비즈니스에 대한 이해가 있어야 한다.

라고 이야기 하는 것 같다.  

하지만 각 분야의 깊이가 모두 같을 수 있을까?

지금의 시장 전체적인 분위기도 그러한 것 같다. 

데이터 과학자가 모든 것에 만능인 것처럼 여기고 있다.

그리고 데이터 분석가의 상위 직군으로 데이터 과학자라고 여기는 분위기이다. 

그리고 이에 붙는 이야기 

'우리나라에는 제대로 된 데이터 사이언티스트가 없어'

 

사실 등장한지 얼마 되지 않은 데이터 과학 분야의 준비된 인재를 

학부생에서 찾기란 불가능한 일이며, 일부 석사/박사급 인재들에게서도 찾기는 쉽지 않을 것이다.

이론적으로 체계를 밟은 사람이라해도 특정 비즈니스에 대한 이해는 부족할 수 있기 때문이다.

데이터를 다루는 기술들이 발달하면서 데이터 분석의 방법이 고도화되고 있는 것은 사실이다.

그러면서 동시에 산업에서는 데이터 분석가들에게 데이터 과학자가 되기를 강요하고 있는 것 같기도 하다.  

그것이 그들에게 양날의 검과 같다.  

모든 것을 하려고 하다가 모든 것을 잃을 수도 있다.

데이터 분석가와 데이터 과학자는 분명 다른 역할을 가지고 있다. 

그리고 서로 다른 업무를 수행하며 협업해야 할 관계라고 생각한다.

비즈니스 데이터에 대한 이해를 바탕으로 정확한 의사결정을 돕는 일은 데이터 분석가가 해야할 일이며    

분석 모델을 수정하고 새로운 알고리즘을 적용하는 일은 데이터 과학자가 해야할 일이다. 

물론 서로의 업무를 이해하기 위한 노력은 필요하다. 

그리고 이를 바탕으로 

자신이 하고자 하는 일을 명확히 하여 구체적인 활동을 했으면 한다.  

 

* 참고 및 레퍼런스  

https://www.simplilearn.com/data-analyst-vs-data-scientist-article
https://www.stoodnt.com/blog/data-engineer-vs-data-scientist/

https://blog.k2datascience.com/data-careers-analyst-vs-scientist-vs-engineer-2e9e297e978e