Scientific Computing & Data Science

원문 : http://www.ciokorea.com/news/9250지금까지 기업들이 BI나 데이터 웨어하우스(DW)에 IT예산을 쏟아부었지만, 원하는 분석 결과를 얻지 못했다. 분석툴에 문제가 있는 게 아니라, 좀더 근원적인 문제는 데이터 분석 결과를 읽고 이를 해석할 수 있는 능력을 지닌 '데이터 과학자(Data Scientist)'가 없다는 데서 출발한다. 데이터 과학자들은 똑똑하고 분석적이며 통계 모델을 사용해 거대한 정보로부터 쓸만한 결론을 이끌어 내는 것을 업으로 삼는 사람들이다. 데이터 과학자들에 대한 수요가 소프트웨어 엔지니어들만큼 많지는 않다. 그러나 데이터 마이닝과 데이터 과학 분야의 전문가들은 이러한 추세가 곧 변할 것이라고 예측하고 있다. 포레스터 리서치의 수석 애널리스트 브라이언 ..

원문 : http://www.ciokorea.com/news/10382IBM의 빅 데이터 제품 담당 부사장 앤줄 밤브리가 데이터 과학자(Data Scientist)의 역할이 무엇인지에 일문일답으로 설명했다 Q. 데이터 과학자란 무엇인가? A. 데이터 과학자란 실제 비즈니스 결과를 끌어내는 활동들간의 트렌드를 발견하기 위해 기업의 대용량 데이터를 분석하는 사람이다. 데이터 과학자들은 기업이 경쟁우위를 가지고 살아남으려면 무엇이 필요한 지를 제시할 수 있는 사람이다. 그들은 빅데이터에서 어떻게 하면 최대 가치를 끌어내고 새로운 정보를 통합할 지에 대해 C레벨 직접 임원들에게 조언을 주고 함께 일한다. 많은 방법으로 데이터 과학자는 오늘날의 업무에서 변화 담당자로서 부서를 조정하고 정보를 통합한다. Q. 어떤..

원문 : http://www.ciokorea.com/news/14901데이터 과학자는 빅 데이터 트렌드 속에서 부상하고 있는 대표적 직업군이다. 이들은 수 페타바이트(petabyte)의 데이터를 조작해 새로운 수익 가능성을, 그리고 궁극적으로는 비즈니스의 흐름을 만들어내는 전문가들이다. 맥킨지 글로벌 인스티튜트는 보고서를 통해 빅 데이터를 적절히 활용함으로써 기업들이 60% 이상의 영업 마진 증대 효과를 거둘 수 있을 것이라 설명한 바 있다. 그러나 많은 기업들이 그들이 보유한 데이터를 제대로 활용할 인재를 확보하는데 어려움을 겪고 있는 것 역시 사실이다. CIO들은 비즈니스적 통찰력과 데이터베이스 전문 기술, 그리고 커뮤니케이션 능력을 고루 갖춘 인재를 탐색하고 고용하는데 고군분투하고 있다. IT 채용..

원문 : http://www.ciokorea.com/news/18948빅 데이터와 관련해 여러 미디어들은 엄청난 돈을 들여 기술 좋은(그리고 돈도 많이 받는) 데이터 과학자를 고용해야 한다고 호들갑이다. 하지만 미디어만 믿고 대학원 지원서를 썼다간 낭패를 볼 지도 모른다. 대부분 기업들은 빅 데이터를 ‘스마트 데이터’로 전환시키기 위해 데이터 과학자를 새로 고용하는 대신 데이터 분석 기술을 강화하고 기존 직원들을 교육하는데 초점을 맞추고 있기 때문이다. 중소기업과 ‘빅 데이터’일단 대부분의 중소기업들은 요즘 한창 난리인 빅 데이터 열풍에 크게 동조하지 못하고 있다는 진단이다. 컴티아 연구소장 팀 허버트는 중소기업 문제의 대부분이 실제로 빅 데이터와 관계가 없는 것이기에 이와 관련해 새로운 인력을 고용하는..

원문 : http://www.ciokorea.com/news/20404빅 데이터가 부상하면서 기업들이 자사 IT 인력들을 데이터 과학자, 데이터 아키텍트, 데이터 시각화 전문가, 데이터 엔지니어 등 숙련된 고급 데이터 전문가로 강화하고자 애쓰고 있다. 현재 자신의 IT 기술력을 강화하고 새로운 경력 경로를 모색하고 있다면, 미국 대학 강의 무료로 들을 수 있는 웹사이트인 코세라(COURSERA)를 확인하길 바란다. 특히 존스홉킨스 대학은 데이터 과학에 특화된 수업을 9강좌나 시작하려고 한다. 스탠포드대학의 두 컴퓨터과학 교수인 앤드류 응과 다프네 콜러가 설립한 코세라는 컴퓨터과학, 생물학, 의학, 경영, 공학, 법학 등 수백 개의 대학 수업에 대해 온라인으로 무료로 접근할 수 있도록 했다. 브라운, 컬럼..

빅데이터의 현재 상태에 신속하게 반응하려면 유동 데이터가 필요하다. 신용카드 거래를 완료하거나 이메일을 보내려면, 데이터가 어느 한 위치에서 다른 위치로 전송되어야 한다. 데이터가 데이터 센터나 클라우드의 데이터베이스에 저장되어 있다면 그 데이터는 유동성이 없다. 반면, 데이터가 하나의 위치에서 다른 위치로 전송될 때 이 데이터는 유동적이다.비즈니스 인사이트를 얻기 위해 거의 실시간에 가깝게 방대한 양의 데이터를 처리해야 하는 기업들은 데이터가 계속적으로 흐르고 있는 동안에도 데이터를 정비하고 있을 가능성이 높다. 유동 데이터와 방대한 양의 데이터는 손에 손을 잡고 있다. 연속적인 스트림의 방대한 양의 데이터에 대한 많은 실세계 예시들이 현재 사용되고 있다:센서들은 고도로 민간한 의료 장비와 연결되어 성..

빅데이터 워크플로우를 이해하려면, 먼저 프로세스가 무엇인지 그리고 이것이 데이터-집약적 환경에서 워크플로우와 어떤 관련이 있는지를 이해해야 한다. 프로세스는 기업이나 기관들에서 의사결정 및 업무목표 규정에 유용한 고수준의 전체 구조로 설계된다.이와는 대조적으로, 워크플로우는 업무에 대한 개별적인 방향성을 두고 프로세스 보다 더욱 특정의 데이터를 요구한다. 프로세스는 프로세스의 전반적 목표에 상응하는 하나 이상의 워크플로우로 구성된다.방법론적 시각에서 볼 때 빅데이터 워크플로우는 표준 워크플로우와 유사하다. 사실 어느 워크플로우든 업무 목표를 달성하기 위해서는 각 단계에서 데이터가 필요하다. 헬스케어 상황에서의 워크플로우를 예로 들어보자.가장 기초적인 워크플로우는 "채혈" 프로세스이다. 채혈은 전반적인 진..

대부분의 빅데이터 관리 전문가들은 구조형 데이터베이스 관리 환경에서 메타데이터 관리의 필요성에 익숙하다. 이러한 데이터 소스들은 강한 유형적 틀을 지니며(예를 들어, 첫번째 10글자는 이름으로 정하는 것 등) 메타데이터 운영을 위해 설계되었다. 메타데이터가 비정형 구조 데이터에서는 존재하지 않는 것으로 가정하는 경우가 많은데 사실은 그렇지가 않다.통상적으로 어떤 유형의 데이터든지 구조를 발견할 수 있다. 비디오의 예를 들어 보자. 특정 비디오 콘텐츠를 정확히 알 수는 없지만 비디오 기반 데이터의 포맷 내에 많은 구조가 존재한다. 만약 비정형 구조의 텍스트를 본다면 영어로 씌어져 있는 단어들을 볼 수 있으며 적합한 툴을 적용한다면 텍스트를 해석할 수 있다.비정형 구조 데이터로부터 이러한 내포적 메타데이터로..

ETL 도구들은 하나의 빅데이터 환경에서 얻은 데이터를 다른 데이터 환경으로 이전하는데 필요한 세 가지 중요한 기능(추출(Extract), 변형(Transform), 불러내기(Load))을 결합한다. 전통적으로, ETL은 데이터 웨어하우스 환경에서 일괄 처리 작업을 하는데 사용되어 왔다. 데이터 웨어하우스는 사업자들에게 사업 중점에 관계되는 데이트에 대한 분석과 리포트를 강화하는 수단을 제공한다. ETL 도구들은 데이터 웨어하우스가 요구하는 포맷으로 데이터를 변형한다.변형은 사실상 데이터가 데이터 웨어하우스에 로딩되기 전 중간 위치에서 실행된다. IBM, Informatica, Pervasive, Talend, Pentaho를 포함한 많은 소프트웨어 벤더들이 ETL 소프트웨어 툴을 제공한다.ETL은 다음..

여러분은 빅데이터 분석에 대한 뉘앙스를 깨닫게 될 것이다. 이것은 정말 작은 데이터에 관한 것이다. 이것이 혼란스러워 보일 수도 있고 전체적인 전제에 위반되는 것처럼 보일 수도 있지만, 작은 데이터는 빅데이터 분석의 결과이다. 전혀 새로운 개념도 아니며, 오랜동안 데이터 분석을 해왔던 사람들에게 익숙하지 않은 것도 아니다. 전체 작업 공간은 커지고 있으나, 해답은 "작다"는 것 어딘가에 존재한다.전통적 데이터 분석은 고객 정보, 제품 정보, 거래 정보, 원격측정 데이터 등등으로 가득찬 데이터베이스로 시작했다. 그 당시에도 가용 데이터는 차거 넘쳐서 효율적인 데이터 분석이 불가능했다. 시스템, 네트워크, 소프트웨어는 스케일을 논할 만한 성능이나 용량이 되지 않았다. 산업 곳곳에서 보다 작은 데이터 세트를 ..