Scientific Computing & Data Science

원문 : http://www.itworld.co.kr/news/88583물론 누구나 빅 데이터를 도입할 수 있다. 그러나 항상 제대로 활용되는 것은 아니다. 꼭 피해야 할 10가지 빅 데이터 사용 방법을 알아보자.1. 몽고DB를 빅 데이터 플랫폼으로 선택하기왜 몽고DB를 선택하는가? 이유는 모르겠지만, 지금 가장 많이 오용되는 NoSQL 데이터베이스는 몽고DB다. 몽고DB에는 맵리듀스, 그리고 (문서화가 매우 열악한) 하둡 커넥터와 비슷한 집계 프레임워크가 있긴 하지만 원래의 용도는 분석 시스템이 아니라 운영 데이터베이스다."몽고를 사용해서 분석할 것은..."이라고 생각한다면 그 생각을 당장 멈추라. 스스로 무슨 짓을 하고 있는지 돌아보길 바란다. 가끔 "추후 분석을 위한 수집"에 사용하는 경우도 있는데..

원본 : http://www.ciokorea.com/news/21776애플과 IBM의 제휴에는 단순히 기업 고객들에게 아이폰을 팔고자 하는 것 이상의 목표가 있었다. 두 회사 모두 이번 제휴를 통해 사물인터넷 분야에서 영향력을 넓혀 가고자 하는 것이다. 이번 건으로 전 세계적인 소비자 기술 기업과 인프라 기술 기업이 만나게 된 것이다. 애플과 IBM의 만남은 IBM의 데이터-크런칭(data-crunching) 툴을 애플 기기에서 좀 더 접근하기 쉽게 해주는 기업용 앱의 탄생을 가능케 할 것이다. 그리고 이 계획의 중심에는 빅 데이터가 있다.이번 계약에 관해 애플의 CEO 팀 쿡은 “드디어 IBM의 강력한 빅 데이터 분석 기능을 iOS 사용자들의 손가락 끝에 전해줄 수 있게 됐다. 이번 계약은 우리 애플에..

원문 : http://www.ciokorea.com/news/211461976년 설립 이래 38년 간 데이터 애널리틱스에만 집중해온 기업이 있다. 빅 데이터라는 용어가 2011년께 본격화된 점을 감안하면 적어도 30년 이상은 앞서 빅 데이터의 한 축을 준비해온 셈이다. 설립 이래 단 한 번도 마이너스 성장이 없었으며, 정리해고 또한 한 차례도 없었다. 매년 매출의 25%는 R&D에 투자해왔으며 본사 직원의 75%가 석박사급이다. 가트너에 따르면 비즈니스 애널리틱스 분야에서 2위 기업보다 점유율이 두 배나 높은 선두 기업이다. 그리고 지난 해에는 마침내 30억 달러 매출을 돌파했다. 빅 데이터 시대, 제대로 물 만난 기업 ‘SAS’ 이야기다. 만 10년째 SAS 코리아를 이끌고 있는 조성식 대표를 만나 데..

원문 : http://www.ciokorea.com/news/21148미국 시애틀 아동 병원은 데스크톱 가상화를 도입하고 시간이 흐른 후, 매일 비슷한 시간에 시스템의 성능이 저하되는 새로운 문제를 겪게 됐다. 원인을 찾아내고자 TFT를 구성했으나 정확한 원인을 찾지 못했다. 이 성능 저하 문제를 찾아준 것은 다름 아닌 빅 데이터 분석이었다. 몇 년 전, 미국 시애틀 어린이 병원(Seattle Children's Hospital)은 대대적으로 데스크톱 가상화(VDI)를 도입했다. 그러나 얼마 지나지 않아, 설명하기 어려운 VDI의 '유령'이 IT 부서에 큰 골칫거리를 초래하기 시작했다.이 회사의 CIO인 웨스 라이트는 "아침 8~10시 사이에 성능이 떨어지는 문제가 발생하기 시작했다. 더 자세히 말하면,..

원문 : http://www.ciokorea.com/slideshow/21053의료 산업은 빅 데이터 애널리틱스의 흥미로운 활용 사례들이 특히 많이 발생하고 있는 영역이다. 재입원율 감소에서 약물 관리 역량 개선, 의료 사기 적발 계획의 체계화 등, 다양한 활동들에서 빅 데이터 애널리틱스는 가시적인 성과를 보여주고 있다.어느 하나 탐나는 성과가 아닌 것이 없다. 그러나 여기에서 제기되는 한 가지 의문이 있다. 어떻게 시작할 것인가라는 질문이다. 대부분의 의료 데이터는 여전히 비정형적이고, 독점적이며, 사일로(silo) 방식으로 저장되고 있다. 또한 임상데이터 웨어하우스를 구축하는 과정은 고도의 복잡성으로 인해 언제나 시간에 쫓기는 의료 업계의 CIO들에겐 부담스러운 작업이다.다행히도 다른 이들보다 먼저 ..

원문 : http://www.ciokorea.com/news/21117빅 데이터에 대한 소유권이 어디에 속하는지 계약서에서 명확하게 밝히지 않는다면, 뒤죽박죽 섞여 있는 내외부 데이터가 문제를 야기할 수 있다. 그리고 이 문제는 한동안 계속될 것이다. 사람들은 ‘빅 데이터’라는 단어의 뜻에 대해 동의하지 않을 수도 있지만, 기업이 클라우드에서 대용량 데이터 세트를 분석하여 이득을 얻을 수 있다는 데에는 동의한다. 문제는 정확한 데이터는 확보하느냐다.기업이 내부에 상당량의 데이터를 가지고 있지만, 종종 그 데이터는 여기저기 흩어져 저장돼 있고 불완전한 상태인 경우가 있다. 이러한 데이터는 빅 데이터가 흔히 약속하는 이점을 얻는데 방해가 될 뿐이다. 다행히, 불충분한 데이터 문제를 해결할 방법이 있다. 더 ..

원문 : http://www.itworld.co.kr/news/87793지난해 하반기부터 거론되어 온 사물인터넷은 모바일, 소셜, 빅데이터, 클라우드와 함께 '디지털 비즈니스'를 이끄는 기술이 됐다.이 5대 기술은 전 산업군에 영향을 미치는 것뿐만 아니라 사회, 경제, 정치, 문화, 미디어 등 모든 영역에 걸쳐 변화를 가져오고 있으며, 또한 사람에게는 소비 구조나 일하는 방식, 여가를 즐기는 행태 또한 바꾸고 있다.모바일, 소셜, 빅데이터, 클라우드는 오래 전부터 회자되어 온 화두이지만 그 의미만큼은 아직도 애매모호한 점이 남아있다. 하지만 사물인터넷은 등장한 지 얼마 되지 않았지만, 그 의미만큼은 명확하다.사물인터넷이라는 이름은 가장 어리지만 그 태생은 모바일 등 다른 4개의 기술보다도 더 오래됐으며,..

이번 글에서는 한 대학의 동문들이 기부한 기부금에 대한 데이터 마이닝 연습을 해보도록 한다. [데이터 준비하기]우선 다음 CSV 파일을 다운받고 R의 working directory에 저장한다: 그래픽 처리를 위한 lattice 라이브러리를 임포트하고 위에 첨부한 CSV 파일의 데이터를 불러내어 don이라는 변수에 저장한다. > library("lattice") > don = read.csv("contribution.csv") 우선 don의 항목을 살펴보자:> names(don) [1] "Gender" "Class.Year" "Marital.Status" "Major" "Next.Degree" [6] "FY04Giving" "FY03Giving" "FY02Giving" "FY01Giving" "FY00G..

이번 글에서는 "Data for R in a nutshell"이 제공하는 2006년도 출산 데이터와 다양한 시각화 도구를 이용하여 데이터 분석 및 마이닝을 연습해 보도록 한다."R in a nutshell"의 데이터를 불러오는 방법에 대한 자세한 내용은 패키지와 데이터 기본을 참고하도록 한다. [준비할 사항]데이터의 시각화를 위해 lattice 라이브러리와 nuteshell 라이브러리를 불러온다. lattice 라이브러리는 barchart, histogram, density plot 등 다양한 데이터 시각화 도구를 제공하며, nuteshell 라이브러리는 데이터 분석 연습을 위한 샘플을 제공한다.> library(lattice) > library(nutshell)데이터는 2006년도 출산 샘플 데이터인 ..

'데이터 마이닝'이란 금을 채광(Gold Mining)하는 것처럼, 획득된 데이터로부터 의미있거나 가치있는 정보를 발견하는 일을 의미한다. 이러한 활동을 통해 기업들은 소비자들이 원하는 것이 무엇인지 발견하여 마켓팅으로 활용하거나 새로운 비즈니스의 기회를 모색할 수도 있다. 또한 각종 정부기관들은 재난사고를 미리 예측하여 사고를 예방하거나 여론을 파악하는데 활용할 수도 있다.데이터 마이닝은 데이터로부터 가치를 발견한다는 점에서 단순 데이터 분석과는 차별된다. 단, 데이터 마이닝을 위해서는 획득할 수 있는 데이터의 범주가 다양할 수록 좋다. 왜냐하면 데이터의 범주가 다양할 수록 다양한 의미를 발견할 가능성이 높아지기 때문이다.데이터에 대해 많은 의존을 하는 스포츠 중의 하나인 야구를 예로 들어보자. 우리나..