Scientific Computing & Data Science

원문 : http://www.ciokorea.com/news/9250지금까지 기업들이 BI나 데이터 웨어하우스(DW)에 IT예산을 쏟아부었지만, 원하는 분석 결과를 얻지 못했다. 분석툴에 문제가 있는 게 아니라, 좀더 근원적인 문제는 데이터 분석 결과를 읽고 이를 해석할 수 있는 능력을 지닌 '데이터 과학자(Data Scientist)'가 없다는 데서 출발한다. 데이터 과학자들은 똑똑하고 분석적이며 통계 모델을 사용해 거대한 정보로부터 쓸만한 결론을 이끌어 내는 것을 업으로 삼는 사람들이다. 데이터 과학자들에 대한 수요가 소프트웨어 엔지니어들만큼 많지는 않다. 그러나 데이터 마이닝과 데이터 과학 분야의 전문가들은 이러한 추세가 곧 변할 것이라고 예측하고 있다. 포레스터 리서치의 수석 애널리스트 브라이언 ..

원문 : http://www.ciokorea.com/news/14901데이터 과학자는 빅 데이터 트렌드 속에서 부상하고 있는 대표적 직업군이다. 이들은 수 페타바이트(petabyte)의 데이터를 조작해 새로운 수익 가능성을, 그리고 궁극적으로는 비즈니스의 흐름을 만들어내는 전문가들이다. 맥킨지 글로벌 인스티튜트는 보고서를 통해 빅 데이터를 적절히 활용함으로써 기업들이 60% 이상의 영업 마진 증대 효과를 거둘 수 있을 것이라 설명한 바 있다. 그러나 많은 기업들이 그들이 보유한 데이터를 제대로 활용할 인재를 확보하는데 어려움을 겪고 있는 것 역시 사실이다. CIO들은 비즈니스적 통찰력과 데이터베이스 전문 기술, 그리고 커뮤니케이션 능력을 고루 갖춘 인재를 탐색하고 고용하는데 고군분투하고 있다. IT 채용..

원문 : http://www.ciokorea.com/news/18948빅 데이터와 관련해 여러 미디어들은 엄청난 돈을 들여 기술 좋은(그리고 돈도 많이 받는) 데이터 과학자를 고용해야 한다고 호들갑이다. 하지만 미디어만 믿고 대학원 지원서를 썼다간 낭패를 볼 지도 모른다. 대부분 기업들은 빅 데이터를 ‘스마트 데이터’로 전환시키기 위해 데이터 과학자를 새로 고용하는 대신 데이터 분석 기술을 강화하고 기존 직원들을 교육하는데 초점을 맞추고 있기 때문이다. 중소기업과 ‘빅 데이터’일단 대부분의 중소기업들은 요즘 한창 난리인 빅 데이터 열풍에 크게 동조하지 못하고 있다는 진단이다. 컴티아 연구소장 팀 허버트는 중소기업 문제의 대부분이 실제로 빅 데이터와 관계가 없는 것이기에 이와 관련해 새로운 인력을 고용하는..

원문 : http://www.ciokorea.com/news/20479버크셔 산맥 깊숙한 곳, 후사토닉 강을 따라 메사추세츠 주의 목가적인 마을 스톡브릿지가 자리잡고 있다. 수 세기 동안 이 마을은 작가, 음악가, 그리고 예술가들에게 도피처이자, 영감의 원천이 되어 왔다. 20세기 중반 미국 미술의 상징적 인물이자 화가, 일러스트레이터였던 노먼 록웰(Norman Rockwell) 역시 이 곳에서 생의 마지막 25년을 보냈다. 이 때문인지, 스톡브릿지에는 그의 작품 574점을 보관하고 있는 노먼 록웰 박물관(Norman Rockwell Museum)이 있다. 이 박물관에는 유명한 ‘새터데이 이브닝 포스트(Saturday Evening Post)’지의 커버를 장식했던 그림과 ‘네 가지 자유(the Four ..

원문 : http://www.ciokorea.com/slideshow/20351아마존이나 페이스북처럼 엄청난 규모의 데이터를 마음대로 이용할 수 있는 민간 기업들은 이 데이터 분석으로 수백 만 달러를 벌어 들인다. 공공부문 기관들 역시 상당한 양의 데이터를 가지고 있으며 점점 더 정부 각처에서 데이터를 활용한 국민의 편의 증진에 힘쓰고 있다.IBM 정부 비즈니스 센터(IBM Center for The Business of Government)의 최근 보고서에서, 애리조나 주립대의 케빈 C. 드수자는 정부 각처의 CIO들과 한 인터뷰를 바탕으로 공공부문의 빅 데이터 도입 계획에 대해 다음과 같은 청사진을 내놓았다. 1막: 빅 데이터 프로젝트 계획하기빅 데이터 프로젝트는 기본적으로 아주 복잡한 일이다. 특히..

원문 : http://www.itworld.co.kr/news/86741모바일 시장은 변화의 흐름 속에 있다. 전통적인 스마트폰과 태블릿은 성숙기에 이르렀고, 다음 단계가 다가오고 있다. 다음 단계에는 모든 종류의 유무선 연결 스마트 기기들로 구성된 사물 인터넷(Internet of Things)이 포함되어 있다. 이 스마트 기기들은 사실 스마트라는 의미에 턱걸이하는 정도다.스마트워치, 피트니스 밴드, 연결형 가전 제품들이 중요하다고 하지만, 이 카테고리에 있는 소비자 제품들이 현재 기업들에게 미치게 될 영향력은 그리 부각되지 않고 있는 실정이다.초점에서 이 카테고리의 가장 큰 충격이 기업에 미치게 될 것이란 사실은 그리 부각되지 못하고 있다. 소비자 경험이 시장을 선도하겠지만 기업이 이를 채택하는 날도..

원문 : http://www.ciokorea.com/news/20404빅 데이터가 부상하면서 기업들이 자사 IT 인력들을 데이터 과학자, 데이터 아키텍트, 데이터 시각화 전문가, 데이터 엔지니어 등 숙련된 고급 데이터 전문가로 강화하고자 애쓰고 있다. 현재 자신의 IT 기술력을 강화하고 새로운 경력 경로를 모색하고 있다면, 미국 대학 강의 무료로 들을 수 있는 웹사이트인 코세라(COURSERA)를 확인하길 바란다. 특히 존스홉킨스 대학은 데이터 과학에 특화된 수업을 9강좌나 시작하려고 한다. 스탠포드대학의 두 컴퓨터과학 교수인 앤드류 응과 다프네 콜러가 설립한 코세라는 컴퓨터과학, 생물학, 의학, 경영, 공학, 법학 등 수백 개의 대학 수업에 대해 온라인으로 무료로 접근할 수 있도록 했다. 브라운, 컬럼..

원문 : http://www.itworld.co.kr/blog/?l=http://dellpowersolution.co.kr/206823573의사결정을 향상시키고 비즈니스 성과를 높이고자 하는 많은 기업들에게 빅데이터가 경쟁우위를 점할 수 있는 요건으로 자리잡고 있습니다. 통찰과 분석으로 강화된 빅데이터는 비즈니스 전략을 수립하고 경영 관련 의사결정에 영향을 끼치는 새로운 방식이기도 합니다. 하지만 빅데이터를 활용하는 것은 단순히 데이터를 수집하고 분석하는 것보다 훨씬 어렵습니다. 2015년까지 포춘(Fortune) 500대 기업 중 85%가 빅데이터를 활용해 경쟁상의 이점을 확보하기 어려울 것이라고 가트너(Gartner)가 밝히기도 했는데요, 사실, 많은 가능성, 문제점, 또 다른 문제점 등 빅데이터 상..

by Geol Choi | March 29, 2014마스터 노드의 연산 부담을 줄이기 위해 슬레이브 노드를 마스터 노드와 함께 데이터 처리 연산에 참여시키는 방법이 있다. 방법은 간단한다. 일반적으로 슬레이브를 지정하는 옵션인 --slave와 함께 마스터를 지정하는 옵션인 --master를 동시에 지정하는 것이다. 예를 들면,$ mongod --dbpath [SLAVE_DATA_PATH] --port [PORT_NUM] --slave --source localhost:3000 --master와 같이 입력한다.마스터와 슬레이브 옵션을 동시에 지정하는 것이 꽤나 이상해 보일 수 있으나, 슬레이브 노드와 같이 마스터 노드의 데이터 복제 역할을 수행하는 동시에 마스터 노드와 같이 데이터 처리 역할 또한 수행하도..

by Geol Choi | March 29, 2014지난 글에서 Replica Set을 구성하는 방법에 대해 자세하게 다뤘다. 지난 글에서는 1대의 머쉰에서 localhost를 통해 Replica Set을 구성한 바 있다. 이번 글에서는 여러 대의 머쉰에서 Replica Set을 구성하는 방법에 대해 알아보도록 하겠다.진행은 튜토리얼 방식이며, 제시되는 OS 및 IP(IP 대신 DNS를 입력해도 무방함) 등은 예를 들어 설명하기 위함이며 각자 자신의 환경에 맞게 응용하기 바란다. 한 번 따라해 보면 쉽게 자신의 환경으로 설정할 수 있으리라 믿는다.이 예제에서는 총 2대의 머쉰을 사용하였으며, 각각 Windows와 Mac OS 환경이며, 설정되는 노드는 모두 3개(PRIMARY 1개, SECONDARY 2..