Scientific Computing & Data Science

원문 : http://www.ciokorea.com/news/9250지금까지 기업들이 BI나 데이터 웨어하우스(DW)에 IT예산을 쏟아부었지만, 원하는 분석 결과를 얻지 못했다. 분석툴에 문제가 있는 게 아니라, 좀더 근원적인 문제는 데이터 분석 결과를 읽고 이를 해석할 수 있는 능력을 지닌 '데이터 과학자(Data Scientist)'가 없다는 데서 출발한다. 데이터 과학자들은 똑똑하고 분석적이며 통계 모델을 사용해 거대한 정보로부터 쓸만한 결론을 이끌어 내는 것을 업으로 삼는 사람들이다. 데이터 과학자들에 대한 수요가 소프트웨어 엔지니어들만큼 많지는 않다. 그러나 데이터 마이닝과 데이터 과학 분야의 전문가들은 이러한 추세가 곧 변할 것이라고 예측하고 있다. 포레스터 리서치의 수석 애널리스트 브라이언 ..

원문 : http://www.ciokorea.com/news/10382IBM의 빅 데이터 제품 담당 부사장 앤줄 밤브리가 데이터 과학자(Data Scientist)의 역할이 무엇인지에 일문일답으로 설명했다 Q. 데이터 과학자란 무엇인가? A. 데이터 과학자란 실제 비즈니스 결과를 끌어내는 활동들간의 트렌드를 발견하기 위해 기업의 대용량 데이터를 분석하는 사람이다. 데이터 과학자들은 기업이 경쟁우위를 가지고 살아남으려면 무엇이 필요한 지를 제시할 수 있는 사람이다. 그들은 빅데이터에서 어떻게 하면 최대 가치를 끌어내고 새로운 정보를 통합할 지에 대해 C레벨 직접 임원들에게 조언을 주고 함께 일한다. 많은 방법으로 데이터 과학자는 오늘날의 업무에서 변화 담당자로서 부서를 조정하고 정보를 통합한다. Q. 어떤..

원문 : http://www.ciokorea.com/news/14901데이터 과학자는 빅 데이터 트렌드 속에서 부상하고 있는 대표적 직업군이다. 이들은 수 페타바이트(petabyte)의 데이터를 조작해 새로운 수익 가능성을, 그리고 궁극적으로는 비즈니스의 흐름을 만들어내는 전문가들이다. 맥킨지 글로벌 인스티튜트는 보고서를 통해 빅 데이터를 적절히 활용함으로써 기업들이 60% 이상의 영업 마진 증대 효과를 거둘 수 있을 것이라 설명한 바 있다. 그러나 많은 기업들이 그들이 보유한 데이터를 제대로 활용할 인재를 확보하는데 어려움을 겪고 있는 것 역시 사실이다. CIO들은 비즈니스적 통찰력과 데이터베이스 전문 기술, 그리고 커뮤니케이션 능력을 고루 갖춘 인재를 탐색하고 고용하는데 고군분투하고 있다. IT 채용..

원문 : http://www.ciokorea.com/news/20404빅 데이터가 부상하면서 기업들이 자사 IT 인력들을 데이터 과학자, 데이터 아키텍트, 데이터 시각화 전문가, 데이터 엔지니어 등 숙련된 고급 데이터 전문가로 강화하고자 애쓰고 있다. 현재 자신의 IT 기술력을 강화하고 새로운 경력 경로를 모색하고 있다면, 미국 대학 강의 무료로 들을 수 있는 웹사이트인 코세라(COURSERA)를 확인하길 바란다. 특히 존스홉킨스 대학은 데이터 과학에 특화된 수업을 9강좌나 시작하려고 한다. 스탠포드대학의 두 컴퓨터과학 교수인 앤드류 응과 다프네 콜러가 설립한 코세라는 컴퓨터과학, 생물학, 의학, 경영, 공학, 법학 등 수백 개의 대학 수업에 대해 온라인으로 무료로 접근할 수 있도록 했다. 브라운, 컬럼..

빅데이터의 현재 상태에 신속하게 반응하려면 유동 데이터가 필요하다. 신용카드 거래를 완료하거나 이메일을 보내려면, 데이터가 어느 한 위치에서 다른 위치로 전송되어야 한다. 데이터가 데이터 센터나 클라우드의 데이터베이스에 저장되어 있다면 그 데이터는 유동성이 없다. 반면, 데이터가 하나의 위치에서 다른 위치로 전송될 때 이 데이터는 유동적이다.비즈니스 인사이트를 얻기 위해 거의 실시간에 가깝게 방대한 양의 데이터를 처리해야 하는 기업들은 데이터가 계속적으로 흐르고 있는 동안에도 데이터를 정비하고 있을 가능성이 높다. 유동 데이터와 방대한 양의 데이터는 손에 손을 잡고 있다. 연속적인 스트림의 방대한 양의 데이터에 대한 많은 실세계 예시들이 현재 사용되고 있다:센서들은 고도로 민간한 의료 장비와 연결되어 성..

빅데이터 워크플로우를 이해하려면, 먼저 프로세스가 무엇인지 그리고 이것이 데이터-집약적 환경에서 워크플로우와 어떤 관련이 있는지를 이해해야 한다. 프로세스는 기업이나 기관들에서 의사결정 및 업무목표 규정에 유용한 고수준의 전체 구조로 설계된다.이와는 대조적으로, 워크플로우는 업무에 대한 개별적인 방향성을 두고 프로세스 보다 더욱 특정의 데이터를 요구한다. 프로세스는 프로세스의 전반적 목표에 상응하는 하나 이상의 워크플로우로 구성된다.방법론적 시각에서 볼 때 빅데이터 워크플로우는 표준 워크플로우와 유사하다. 사실 어느 워크플로우든 업무 목표를 달성하기 위해서는 각 단계에서 데이터가 필요하다. 헬스케어 상황에서의 워크플로우를 예로 들어보자.가장 기초적인 워크플로우는 "채혈" 프로세스이다. 채혈은 전반적인 진..

ETL 도구들은 하나의 빅데이터 환경에서 얻은 데이터를 다른 데이터 환경으로 이전하는데 필요한 세 가지 중요한 기능(추출(Extract), 변형(Transform), 불러내기(Load))을 결합한다. 전통적으로, ETL은 데이터 웨어하우스 환경에서 일괄 처리 작업을 하는데 사용되어 왔다. 데이터 웨어하우스는 사업자들에게 사업 중점에 관계되는 데이트에 대한 분석과 리포트를 강화하는 수단을 제공한다. ETL 도구들은 데이터 웨어하우스가 요구하는 포맷으로 데이터를 변형한다.변형은 사실상 데이터가 데이터 웨어하우스에 로딩되기 전 중간 위치에서 실행된다. IBM, Informatica, Pervasive, Talend, Pentaho를 포함한 많은 소프트웨어 벤더들이 ETL 소프트웨어 툴을 제공한다.ETL은 다음..

원문: http://www.ciokorea.com/slideshow/19630/?slide=1#stage_slide오늘날 디지털 세계에는 데이터가 부족할 수가 없다. 오히려 데이터 과부하 시대라고 하는 표현이 더 어울리겠다. 기업들은 클라우드, 모바일 기술, 소셜 미디어에 투자하고 있다. 이와 함께 기업에 미치는 영향을 생각하면 얼마나 많은 데이터가 수집되고 있는지를 알 수 있을 것이다. 플로리다의 탐파(Tampa)에 본사를 둔 헤드헌팅 기업 케이포스(Kforce)의 최근 조사에 따르면 이런 데이터의 증가와 함께 데이터를 수집하고 정리하며 분석할 수 있는 사람들에 대한 수요도 늘어나고 있다고 한다. ETL(Extract(추출), Transfer(전송), Load(불러오기) 개발자데이터가 폭발적으로 증가하..

원문: http://www.ciokorea.com/news/12825데이터 과학자가 되기 위해 필요한 습득한 기술들은 그 사람이 어떤 배경을 지녔느냐에 따라 다르다. IT채용 및 컨설팅 기업 모디스(Modis)의 휴스턴 지부 부사장 로라 켈리에 따르면, 데이터 과학자가 되는 경로는 어떤 기술력을 가졌느냐에 따라 달라진다고 한다. 켈리의 조언은 다음과 같다. *MBA 졸업생이라면, 통계 소프트웨어 프로그램 자격증을 따라. "일반 컴퓨터 과학 박사 학위를 취득하지 말고 주력 분야에 좀더 집중하라. *컴퓨터 과학 전공자라면, MBA 입학을 고려하라. 비즈니스를 이해하고 커뮤니케이션을 잘 할 수 있다는 것은 데이터 과학의 필수 요소다. 또한, 비즈니스 인텔리전스와 분석 소프트웨어 관련 자격증을 취득하라. *통계..

원문: http://www.ciokorea.com/news/12847?page=0,1데이터에서 진정한 가치를 이끌어내고 싶은가? 데이터 과학자 1~2명을 고용하는 것이 해답일 수 있다. '데이터 과학자'라는 직종의 현황과 미래를 짚어본다. 지난 수 개월 동안 새로운 범주의 데이터 전문가인 데이터 과학자에 대한 관심이 급증했다. 비즈니스, 애널리틱스, 컴퓨터 기술 등이 조합된 이 새로운 직업은 에너지, 전자 상거래, 건강 관리, 재무 서비스 등 다양한 분야로 진출하고 있다. 그리고 전문가들은 이것이 시작에 불과하다고 입을 모으고 있다. IT 컨설팅 및 인재 파견기업 모디스(Modis)의 휴스턴 부사장 로라 켈리는 "기업들은 점차 데이터 및 애플리케이션 중심적으로 변모하고 있다. 그들은 빅 데이터 환경을 모..