[Data Science / Articles] 연봉 높고 인기 많은 빅 데이터 전문직 8종

원문: http://www.ciokorea.com/slideshow/19630/?slide=1#stage_slide

오늘날 디지털 세계에는 데이터가 부족할 수가 없다. 오히려 데이터 과부하 시대라고 하는 표현이 더 어울리겠다. 기업들은 클라우드, 모바일 기술, 소셜 미디어에 투자하고 있다. 이와 함께 기업에 미치는 영향을 생각하면 얼마나 많은 데이터가 수집되고 있는지를 알 수 있을 것이다. 플로리다의 탐파(Tampa)에 본사를 둔 헤드헌팅 기업 케이포스(Kforce)의 최근 조사에 따르면 이런 데이터의 증가와 함께 데이터를 수집하고 정리하며 분석할 수 있는 사람들에 대한 수요도 늘어나고 있다고 한다.

---

ETL(Extract(추출), Transfer(전송), Load(불러오기) 개발자

데이터가 폭발적으로 증가하고 기업들이 활용하려는 데이터가 다양해지면서 빅 데이터를 수집하고 통합하는 기술을 가진 전문가에 대한 수요가 크게 늘어났다. ETL 개발자들은 주로 한 기업이 보유할 수 있는 다양한 데이터 출처를 통해 이 출처에서 기업의 필요에 따라 데이터를 추출하고 불러오며 수정해 데이터 웨어하우스(DW)에 보관하는 방법을 개발한다.

케이포스의 CTO 그레그 존스가 "ETL 소프트웨어 산업이 꽤 성숙해 있기 때문에 이런 직종이 빅 데이터 산업 부문에서 오랫동안 각광 받을 것이며 때로는 외부 계약 자원을 활용하기도 한다"고 말했다.

---

하둡 개발자

하둡은 자바 기반의 오픈소스 프레임워크로 대규모 데이터 세트의 처리를 지원한다. 케이포스에 따르면 하둡 프레임워크의 데이터와 다양한 기술(하이브(Hive), 에이치베이스(HBase), 맵리듀스(MapReduce), 피그(Pig) 등)에 대한 수요가 매우 높다고 한다. 이는 데이터 규모 수요로 인한 것이며 전통적인 비즈니스 인텔리전스(BI) 툴을 이용해 테라바이트/페타바이트(Petabyte)의 데이터를 처리하는 비용이 너무 높고 막대한 분산형 처리 없이는 엄청난 시간이 소요되기 때문이다.

"하둡 프레임워크를 다뤄본 경험이 있는 사람들은 현재 빅 데이터 시대에 가장 각광받는 인력들이다. 이런 직종은 기업들이 장기적인 빅 데이터 전략을 발전시키면서 주로 외부의 계약직으로 활용되는 경향이 있다"고 케이포스의 CTO 존스는 말했다.

---

시각화 툴 개발자 

막대한 양의 데이터는 분석이 쉽지 않을 수 있다. 스포티퍼(Spotifre), 클릭뷰(Qlikview), 타블로(Tableau) 등의 새로운 시각화 툴을 통해 직관적이며 신속한 데이터 조사가 가능하다. 이런 직종들은 일반적으로 BI 개발자의 범주에 가깝지만 하둡은 현재 크게 각광 받고 있으며 새로운 종류의 전문 기술이라고 케이포스는 밝혔다.

"이런 기술은 단기 외부 계약직들을 뽑아서 충당하고 있다. 이러한 외부 인력들의 공급이 수요를 충족시키고 툴셋이 발전하면서 이런 직종의 비율이 조정되고 이런 외부 인력들이 정직원들로 전환될 가능성이 높다"고 케이포스의 CTO 그레스 존스는 말했다.

---

데이터 과학자

과거에 데이터 설계자로서 IT부서에 소속돼 있었던 데이터 과학자가 이제는 자신의 데이터 정리 기법을 비즈니스 가치 문제와 연관시킬 수 있는 새로운 기술 전문가로 성장했다. 또한 그들은 IT와 비즈니스 리더들에게 데이터 발견사항을 설명할 수 있는 뛰어난 의사소통 기술도 갖추고 있다. 이런 데이터 과학자들은 일반적으로 기관의 데이터를 탐색 및 분석하고 혁신을 이끌어내기 위한 자신만의 샌드박스(Sandbox)를 갖고 있다.

IBM의 빅 데이터 제품 담당 부사장 안줄 밤브리는 "애널리스트면서 아티스트이기도 한 데이터 과학자는 탐구심이 강하며 데이터에서 추세를 발견하는 사람이다. 기관에 대해 배우고 변화를 추구하는 르네상스인이라 할 수 있다"고 말했다.

---

OLAP 개발자

OLAP(On-Line Analytical Processing) 개발자는 케이포스가 말하는 ‘초정밀’ 분석을 가능하게 하는 데이터 구조 최적화 전문가다. 이는 상관관계가 있거나 비정형 데이터 자원으로부터 데이터를 가져와 ‘스타(Star)’ 및 ‘스노우플레이크(Snowflake)’ 스키마(Schema)라고도 하는 차원 모델을 구성해 사전에 정의된 고성능 쿼리를 통해 데이터에 접근하는 사용자 환경(UI)을 구축하는 과정이다.

---

DW어플라이언스 전문가

"DW어플라이언스 전문가들은 테라데이터, 네티자(Neteeza), 엑사데이터(Exadata) 등의 장비에 특화되어 있다”고 케이포스는 밝혔다. 이 역할과 관련된 주요 업무로는 이런 고성능 장비와 관련된 데이터 통합, 관리, 성능 최적화 등이 있다. 이런 특수 장비는 기관에서 분석 처리 환경에 특화된 최적화된 메모리, 디스크, 데이터 스토리지 아키텍처를 이용해 MPP(Massive Parallel Processing)을 제공하기 위해 사용된다." -케이포스 빅 데이터 팀

---

예측 분석 개발자

"예측 분석은 소비자 행동을 예측하고 제품 구매자를 찾아내기 위해 마케팅 조직에서 많이 사용하고 있다"고 케이포스는 밝혔다.

이 역할은 때로는 기관의 데이터 관련하여 "만약에(What if)" 시나리오에 맞춰 탐구적인 관점에서 작업을 진행한다는 측면에서 보면, 데이터 과학자와 다소 유사하다고 할 수 있다. 이런 기술을 갖춘 IT인력은 잠재력 있는 비즈니스 시나리오를 구축하고 한계점을 시험하여 미래의 성능을 예측하기 위해 역사적 데이터 성능을 기준으로 가정을 활용하는 전문가다.

---

정보 아키텍트(Information Architect)

"빅 데이터로 인해 데이터 마스터리(Data Mastery)가 새롭게 재조명받고 있다"고 케이포스의 빅 데이터팀은 밝혔다.

기업의 데이터를 이용해 실행 가능한 계획을 활용하고 구축하기 위해서는 특수한 기술이 필요하다. 정보 설계자는 반드시 핵심 요소를 정의하고 문서화할 수 있는 방법을 알고 있어야 하며 가장 영향력 있는 방식으로 데이터를 정리하고 해석할 수 있도록 해야 한다. 이 직종을 원한다면 마스터 데이터 관리, 비즈니스 지식, 데이터 모델링이 가장 핵심적인 기술이다.