포럼뉴스
데이터 사이언티스트(빅데이터 전문가)는 귀하신 몸
최종수정 2013.06.13 06:00 기사입력2013.06.13 06:00
[아시아경제 박희준 기자]각종 센서와 인터넷 보급확대로 생산되는 데이터가 방대해지면서 이를 분석하는 전문인력(데이터 사이언티스트) 수요가 급증하고 있다. 이에 따라 수학과 통계학에 능통하고 컴퓨터를 자유자재로 다루면서 데이터를 분석하는 전문가들은 전공을 불문하고 몸값이 치솟고 있다.
13일 블룸버그통신 보도에 따르면, 방대한 데이터(빅데이터)를 분석하고 다루는 데이터 사이언티스트 수요가 급증하면서 다양한 배경을 가진 전문가들이 등장하고 있지만 수요를 따르지 못하고 있다.
데이터 사이언티스트 수요는 이들이 통계분석 대가로 청구하는 시간당 비용으로 측정할 수 있다. 기업과 프리랜스를 연결해주는 업체인 오데스크 코프(oDesk Corp)의 통계에 따르면 이들이 통계분석 대가로 청구하는 시간당 비용은 올해 1분기에 2년 전 동기에 비해 무려 522% 증가했다. 이는 같은 기간중 전 업무 비용 증가율 135%에 비하면 무려 근 네 배에 이를 만큼 높은 증가율이다.
데이터 사이언티스트는 통계 전문가 뿐 아니라 전직 핵물리학자에서부터 신경의학자,해양생물학자 등으로 다양하지만 이전 전공 분야에서 박사학위를 가진 사람들이적지 않다.
오데스크에 따르면 데이터 분석을 자기 기술이라고 밝힌 프리랜서들의 교육배경은 컴퓨터공학이 가장 흔하고 이어 경영학,수학,경제학,산업공학,심리학 등으로 역시 다양하다. 스탠퍼드대학의 경제경영대학원 수전 애티 교수는 “현대 경제의 대부분의 영역에서 수학과 통계학이 이처럼 중요해진 적은 없다”고 단언했다.
링크드인이 인수한 뉴스수집업체 펄스에 뉴스 패턴을 분석해주는 더글러스 푸엣(25)은 미국 콜롬비아 대학에서 응용통계학을 전공한 통계 전문가지만 새너제이의 데이터 저장 네트워크 모니터 업체인 버추얼 인스트루먼트의 베르트랑 오리츠는 전기공학 박사로 나사(미국항공우주국) 연구소에서 외계에서 해수면 측정 알고리즘 등을 설계했다.
이들 데이터 사이언티스트들이 이전 세대의 통계전문가들과 다른 점은 이들이 엑셀 스프레드 쉬트에 도저히 들어갈 수 없는 방대한 양의 데이터를 다룬다는 점이다. 이는 최근 영국의 일간 가디언이 폭로한 미국 국가안보국(NSA)이 세계에서 수집한 정보의 양을 통해서 가늠해 볼 수 있다.가디언은 NSA가 3월 한달 동안 미국에서 28억9000만 건의 정보를 수집하는 등 전세계에서 970억 건의 정보를 수집했다고 폭로했다.
이들이 다루는 데이터의 양은 하도 방대해서 여러 대의 서버를 사용해야만 겨우 데이터의 숫자를 다룰 수 있다. 이들은 또 원하는 답을 얻기 위해 광범위한 컴퓨터 암호를 작성해야만 한다. 데이터 숫자에 도달하면 상관관계 분석과 회귀분석,T검증 등을 거쳐 원하는 패턴을 찾아낸다.
빅 데이터 전문가들은 국가 보안 산업에서 가장 많이 채용한다. 이중 하나가 미국 국방부와 중앙정보국(CIA)에 테러 분석 소프트웨어를 개발해 제공한 빅데이터 분석 전문업체 플란티르 테크놀로지스(Palantir Technologies Inc.)다.
문제는 정보량은 급증하는데도 기업들이 적임자를 쉽게 찾을 수 없다는 점이다.이에 따라 데이터 분석가 인력부족은 갈수록 심해질 전망이다. 기술조사 업체 IDC에 따르면, 오는 2020년 한해에 생산,복사,소비되는 디지털 데이터량은 4만 엑사바이트(40조 기가바이트)로 2005년 130엑사바이트에 비해 300배 증가할 것으로 예측됐다.
맥킨지 글로벌 인스티튜는 2011년 발간한 보고서에서 미국은 2018년 깊이 있는 통계능력을 갖춘 전문 인력이 최대 19만 명 부족하고 빅데이터를 의사결정에 활용할 줄 아는 매니저와 분석가도 150만 명 부족할 것으로 예상했다.
소비자들이 이메일 영수증을 추적,분석하도록 도와주는 회사인 슬라이스의 하르핀더 싱 마단 공동창업자는 “데이터 애널리스트는 일인 다역을 해야 하고 다양한 기술을 가져 한다”면서“ 통계학과 시각화,데이터베이스 기술을 갖춰야 하지만 이런 것을 훈련시키는 기관은 없다”고 말했다.
덕분에 빅데이터 전문가들의 몸값은 치솟고 있다. 오리츠의 경우 연봉 10만 달러 이상을 받고 있다. 매사추세츠주 뉴튼시 소재 액티베이트 네트워크에서 데이터 분석 이사라는 정규직을 갖고 있는 애런 메를롭(27)은 오데스크의 온라인 프리랜스 부문에서 부업을 하며 시간당 100달러를 받는다.
미국 하버드 비즈니스 리뷰는 “21세기에 가장 섹시한 직업”이라고 규정한 것도 별로 틀리지 않아 보인다.
박희준 기자 jacklondon@
<ⓒ세계를 보는 창 경제를 보는 눈, 아시아경제(www.asiae.co.kr) 무단전재 배포금지>
13일 블룸버그통신 보도에 따르면, 방대한 데이터(빅데이터)를 분석하고 다루는 데이터 사이언티스트 수요가 급증하면서 다양한 배경을 가진 전문가들이 등장하고 있지만 수요를 따르지 못하고 있다.
데이터 사이언티스트 수요는 이들이 통계분석 대가로 청구하는 시간당 비용으로 측정할 수 있다. 기업과 프리랜스를 연결해주는 업체인 오데스크 코프(oDesk Corp)의 통계에 따르면 이들이 통계분석 대가로 청구하는 시간당 비용은 올해 1분기에 2년 전 동기에 비해 무려 522% 증가했다. 이는 같은 기간중 전 업무 비용 증가율 135%에 비하면 무려 근 네 배에 이를 만큼 높은 증가율이다.
데이터 사이언티스트는 통계 전문가 뿐 아니라 전직 핵물리학자에서부터 신경의학자,해양생물학자 등으로 다양하지만 이전 전공 분야에서 박사학위를 가진 사람들이적지 않다.
오데스크에 따르면 데이터 분석을 자기 기술이라고 밝힌 프리랜서들의 교육배경은 컴퓨터공학이 가장 흔하고 이어 경영학,수학,경제학,산업공학,심리학 등으로 역시 다양하다. 스탠퍼드대학의 경제경영대학원 수전 애티 교수는 “현대 경제의 대부분의 영역에서 수학과 통계학이 이처럼 중요해진 적은 없다”고 단언했다.
링크드인이 인수한 뉴스수집업체 펄스에 뉴스 패턴을 분석해주는 더글러스 푸엣(25)은 미국 콜롬비아 대학에서 응용통계학을 전공한 통계 전문가지만 새너제이의 데이터 저장 네트워크 모니터 업체인 버추얼 인스트루먼트의 베르트랑 오리츠는 전기공학 박사로 나사(미국항공우주국) 연구소에서 외계에서 해수면 측정 알고리즘 등을 설계했다.
이들 데이터 사이언티스트들이 이전 세대의 통계전문가들과 다른 점은 이들이 엑셀 스프레드 쉬트에 도저히 들어갈 수 없는 방대한 양의 데이터를 다룬다는 점이다. 이는 최근 영국의 일간 가디언이 폭로한 미국 국가안보국(NSA)이 세계에서 수집한 정보의 양을 통해서 가늠해 볼 수 있다.가디언은 NSA가 3월 한달 동안 미국에서 28억9000만 건의 정보를 수집하는 등 전세계에서 970억 건의 정보를 수집했다고 폭로했다.
이들이 다루는 데이터의 양은 하도 방대해서 여러 대의 서버를 사용해야만 겨우 데이터의 숫자를 다룰 수 있다. 이들은 또 원하는 답을 얻기 위해 광범위한 컴퓨터 암호를 작성해야만 한다. 데이터 숫자에 도달하면 상관관계 분석과 회귀분석,T검증 등을 거쳐 원하는 패턴을 찾아낸다.
빅 데이터 전문가들은 국가 보안 산업에서 가장 많이 채용한다. 이중 하나가 미국 국방부와 중앙정보국(CIA)에 테러 분석 소프트웨어를 개발해 제공한 빅데이터 분석 전문업체 플란티르 테크놀로지스(Palantir Technologies Inc.)다.
문제는 정보량은 급증하는데도 기업들이 적임자를 쉽게 찾을 수 없다는 점이다.이에 따라 데이터 분석가 인력부족은 갈수록 심해질 전망이다. 기술조사 업체 IDC에 따르면, 오는 2020년 한해에 생산,복사,소비되는 디지털 데이터량은 4만 엑사바이트(40조 기가바이트)로 2005년 130엑사바이트에 비해 300배 증가할 것으로 예측됐다.
맥킨지 글로벌 인스티튜는 2011년 발간한 보고서에서 미국은 2018년 깊이 있는 통계능력을 갖춘 전문 인력이 최대 19만 명 부족하고 빅데이터를 의사결정에 활용할 줄 아는 매니저와 분석가도 150만 명 부족할 것으로 예상했다.
소비자들이 이메일 영수증을 추적,분석하도록 도와주는 회사인 슬라이스의 하르핀더 싱 마단 공동창업자는 “데이터 애널리스트는 일인 다역을 해야 하고 다양한 기술을 가져 한다”면서“ 통계학과 시각화,데이터베이스 기술을 갖춰야 하지만 이런 것을 훈련시키는 기관은 없다”고 말했다.
덕분에 빅데이터 전문가들의 몸값은 치솟고 있다. 오리츠의 경우 연봉 10만 달러 이상을 받고 있다. 매사추세츠주 뉴튼시 소재 액티베이트 네트워크에서 데이터 분석 이사라는 정규직을 갖고 있는 애런 메를롭(27)은 오데스크의 온라인 프리랜스 부문에서 부업을 하며 시간당 100달러를 받는다.
미국 하버드 비즈니스 리뷰는 “21세기에 가장 섹시한 직업”이라고 규정한 것도 별로 틀리지 않아 보인다.
박희준 기자 jacklondon@
<ⓒ세계를 보는 창 경제를 보는 눈, 아시아경제(www.asiae.co.kr) 무단전재 배포금지>
