빅데이터 관련 직업 5가지: 직무, 필요 역량

빅데이터 관련 직업, 어떤 것들이 있는지 많이 헷갈리시죠? 이 글에서는 빅데이터 관련 직업 5가지를 소개하면서 실제 하는 일과 그에 따른 필요 역량을 총 정리해서 설명드릴겁니다. 요즘 가장 핫하고, 대표적인 직업 5가지인 데이터 사이언티스트, 데이터 엔지니어, 데이터 리서처, 데이터 분석가, MLOps로 나눠서 설명드리겠습니다.

 

 

 

1. 데이터 사이언티스트

직무

• 데이터를 수집, 전처리, 분석하고, 이를 시각화하며 인사이트를 도출
• 머신러닝 및 딥러닝 모델을 개발하고, 이를 통해 예측 모델을 만들고 최적화
• 비즈니스 문제를 데이터로 해결하며, 의사 결정에 활용

 

💡데이터 사이언티스트는 비즈니스 문제를 포뮬레이션*하고, 그렇게 나온 데이터 분석 문제를 전처리 및 EDA**합니다. 그리고 나서 분석할 데이터를 모델링 및 검증을 하고, 최종적으로 인사이트를 도출해내는 일을 하죠. 그렇게 도출해낸 인사이트로 비즈니스 문제를 해결하는 데에 의사결정을 할 수있습니다. 즉, 쉽게 말해서 '보석 세공사'같은 느낌이라고 보면 됩니다. 그냥 돌에 묻혀있을 땐 아무도 그 가치를 몰랐지만, 돌에 있는 보석을 세공하고 나니, 모두가 가치를 인정하는 보석이 되었죠. 그 보석을 어떻게 판매할 것인지는 비즈니스를 하는 분들의 몫을 겁니다. 여기에서의 '보석'은 '데이터'를 비유한 것입니다.

*포뮬레이션(Formulation): 해결하고자 하는 비즈니스 문제를 데이터 분석 문제로 바꾸는 과정

** EDA(Exploratory Data Analysis): '탐색적 데이터 분석'이라는 뜻으로, 데이터를 탐색해 의미를 이해하는 과정

 

필요 역량

• 데이터 분석에 대한 기본 지식 습득 (SQL, 파이썬, R, 통계학, 머신러닝, 딥러닝 등)
• 머신러닝 및 딥러닝 모델 개발 경험 쌓기 (캐글 등의 대회 참여, 프로젝트 수행 등)
• 데이터 시각화 및 인사이트 도출 능력 강화 (파이썬의 matplotlib, seaborn, Tableau 등의 시각화 툴 사용)
• 비즈니스 문제에 대한 이해력 강화 (경영학, 마케팅 등의 전공 과목 수강)

❗데이터 사이언티스트는 논문 읽을 일이 많기 때문에 최종학력이 석사/박사면 유리합니다. 또는 도메인 지식이 중요한 직업이기 때문에 다른 분야에서의 경력이 3년 이상이라면, 취업 준비하는데에 많이 유리합니다. 컴공, 수학, 통계, 산업 공학이 유관 전공이며, 꼭 그 학과아니여도 크게 상관은 없습니다. 

 

ex. 토스 기업의 데이터 사이언티스트 채용공고

 

2. 데이터 엔지니어

직무

• 대량의 데이터를 처리하고 저장하기 위한 데이터베이스 및 데이터 웨어하우스 설계 및 구축
• ETL(Extract, Transform, Load) 프로세스를 구축하여 데이터를 추출, 전처리, 로드
• 데이터 파이프라인을 개발하고 유지보수

💡데이터 엔지니어는 데이터 사용자의 요구사항을 분석하고, 거기에 맞춰서 데이터 파이프라인*을 구축하는 일을 합니다. 대용량 데이터 저장소 내의 데이터를 활용할 수 있는 형태로 저장하는 과정을 거친 데이터는 '데이터 웨어하우스'에 저장이 됩니다. 이 데이터 웨어하우스에는 여러 데이터를 공통된 형식으로 변환해 저장합니다. 여기까지의 과정을 'ETL 파이프라인'이라고 하며, 이러한 것들을 설계하고 구성하며, 요수지보수 및 관리하는 것까지 모두 데이터 엔지니어의 직무입니다. '물이 잘 흐르도록 수도관을 설계하고, 정비하는 사람'같은 느낌이라고 보면 됩니다. 여기에서의 흐르는 '물'은 '데이터'를 비유한 것입니다.

*데이터 파이프라인: 물의 순환과 같이 데이터가 흐르는 과정.

 

필요 역량

• Java, Python 중 1개 이상의 언어를 통한 개발 경험
• 데이터베이스 및 데이터 웨어하우스 설계에 대한 이해
• ETL 프로세스 개발에 대한 이해 및 경험
• 클라우드 컴퓨팅 (AWS, GCP, Azure 등)에 대한 이해 및 경험
• 대용량 데이터 처리를 위한 분산처리 시스템에 대한 이해 (Hadoop, Spark 등)

❗️데이터 엔지니어는 컴퓨터 공학의 기초는 필수로 공부해야합니다. 컴퓨터 공학과를 나오면 유리하지만, 처음에 개발자로 취업하여 경력을 많이 쌓으면, 꼭 컴퓨터 공학과 출신이 아니어도 상관없습니다. 기본적으로 코딩을 잘하면 뽑는 직무이고, 데이터 베이스, 서버, 분산처리에 대한 지식은 반드시 가져야합니다.

 

3. 데이터 분석가

직무

• 회사 내부 또는 외부에서 발생한 데이터를 분석하여 인사이트 도출 및 의사 결정에 활용
• 분석 결과를 시각화하여 보고서를 작성
• 데이터를 활용한 비즈니스 프로세스 개선 제안

💡데이터 분석가 포지션은 위 직업 2개와는 완전히 다른 직업입니다. 도메인에 대한 이해와 중요 지표를 뽑는(KPI) 것이 매우 중요하죠. 굳이 비교하자면, 퍼포먼스 마케터와 비슷합니다. sql과 BI툴을 많이 쓰며, 비즈니스 애널리스트라고도 부릅니다.

 

필요 역량

• SQL, 파이썬, 통계학, 머신러닝 등 데이터 분석에 필요한 기초지식
• 데이터 시각화 및 보고서 작성 능력 (파이썬의 matplotlib, seaborn, Tableau 등의 시각화 툴 사용)
• 비즈니스 문제에 대한 이해력 강화 (경영학, 마케팅 등의 전공 과목 수강)
• 데이터 분석 프로젝트 수행 경험 (예: 캐글 등의 대회 참여, 회사 내부 데이터 분석 프로젝트 수행 등)

❗데이터 분석가는 주로 경력을 많이 뽑습니다. 스타트업은 긴입도 많이 뽑습니다. 도메인 지식이 강하면 취업하기 유리합니다.

 

ex. 카카오스타일 데이터 분석가 채용공고

 

4. 데이터 리서처

직무

• 회사 내부 또는 외부에서 필요한 데이터를 수집하고, 이를 정제하여 사용 가능한 형태로 가공
• 새로운 데이터 수집 방법 및 수집 도구 개발
• 수집한 데이터의 품질 관리

필요 역량

• 데이터 분야 석사 이상 학위
• 데이터 수집 방법에 대한 이해 및 경험 (크롤링, 스크래핑 등)
• 데이터 정제 및 가공에 대한 이해 및 경험 (파이썬의 pandas, numpy 등의 라이브러리 사용)
• 데이터 품질 관리 방법에 대한 이해 및 경험
• 새로운 데이터 수집 도구 개발 경험

 

5. MLOps

직무

• 머신러닝 모델 개발 및 배포를 위한 인프라 및 시스템 구축
• 모델 개발 및 배포에 대한 지속적인 모니터링 및 관리
• 개발팀과 운영팀 간의 협업을 위한 프로세스 구축 및 관리

필요 역량

• 머신러닝 모델 개발 및 배포 경험
• 클라우드 컴퓨팅 (AWS, GCP, Azure 등)에 대한 이해 및 경험
• 컨테이너화 기술 (Docker, Kubernetes 등)에 대한 이해 및 경험
• CI/CD (Continuous Integration/Continuous Deployment) 파이프라인 구축 경험

❗MLOps는 현재 시점에 가장 인기 있는 포지션입니다. 이 용어가 나온지 4년이 되지 않았고, 기존에 데브옵스 직무를 하던 분들이 인공지능을 배워서 넘어가는 추세입니다. 또는 데이터 엔지니어나 백엔드 엔지니어에서 많이 넘어가고 있습니다. 데이터 엔지니어 + 데이터 사이언티스트 느낌이라고 보면됩니다.

 

결론

빅데이터관련 직업 5가지를 살펴보고, 직무와 필요 역량을 살펴보았는데요. 사실, 데이터 분야에서 세계적으로 공통으로 인정해주는 역량이 3가지 있습니다. 그것은 바로, 관련 분야 프로젝트 및 포트폴리오, 유명한 학회에서 논문을 해는 것 그리고 케글 수상 경력입니다. 취업 준비를 하기 전에는 자신이 어떤 직무를 원하는지 명확하게 파악하고, 그에 맞는 필요한 지식과 기술을 습득하여 준비해두시고, 모든 기업에서 공통적으로 인정해주는 프로젝트부터 차근차근 시작해보시길 바랍니다.

 

데이터 관련 직무는 세계적으로 가장 유망한 직업 중 하나 입니다. 빅데이터 관련 직업을 원하시는 분들은 시대에 발 맞춰서 2025년도까지 시행하는 디지털 뉴딜 정책에 의해 정부에서 지원해주는 교육 프로그램들도 많이 있으니, 늦기 전에 바로 공부를 시작해보시길 바랍니다!