Scientific Computing & Data Science

Data Science, Big Data, Data Analytics에 대한 설명을 잘 해놓은 (무엇보다도 심플하면서도 간결한 디자인이 맘에 드는) 자료가 있어 소개하고자 한다.

이번 글에서는 Big Data와 직접적인 관련은 없지만 Fluctuation이 심한 데이터에 대한 경향을 살펴보는 기법 중 하나인 Moving Average에 대하여 알아본다. Moving Average에는 Simple Moving Average, Accumulative Moving Average, Weighted Moving Average, Modified Moving Average, Exponential Moving Average 등이 있으며, 이 중 가장 간단한 Simple Moving Average를 다루기로 한다. Theory & AlgorithmSimple Moving Average의 알고리즘은 매우 간단하다. n개의 데이터 윈도우사이즈(Window Size)에 대하여,최초 i개의 데이터 개수..

기사원문: http://magazine.hankyung.com/business/apps/news?popup=0&nid=01&c1=1003&nkey=2015073101026000231&mode=sub_view미국의 버락 오바마 대통령은 작년 사생활 보호권 전문가·과학기술자·사업가 등과 빅 데이터가 가져오는 민간 및 공공 영역에서의 사생활 침해 위협을 파악하고 이를 최소화하면서 정보를 자유롭게 공유할 수 있는 방안을 검토하라고 지시했다. 미 대통령 과학기술자문위원회(PCAST)는 기술적인 관점을 중심으로 이를 검토, ‘빅 데이터와 사생활 보호권 : 기술적인 관점(BigData and Privacy : A Technological Perspective)’이라는 보고서를 제출했다. 이 보고서에 담긴 주요 내용을..

Written by CINEMA4D데이터 과학에 있어 데이터를 처리하는 순서는 다음 그림과 같다: [실세계]각종 포털사이트, 온/오프라인 쇼핑몰, Facebook, Google+, Twitter와 같은 SNS 등 데이터를 수집할 수 있는 모든 데이터 원천을 의미한다. [미가공 데이터]실세계로부터 얻어진 데이터는 가공되지 않은 형태의 "있는 그대로의 데이터(Raw Data)"로 존재한다. 이것은 로그 파일, 이메일, 동영상, 음성 등 다양한 비정형 데이터로 존재할 가능성이 높으며 정형화 된 형태일지라도 데이터가 유실될 경우도 많다. [데이터 처리]미가공 데이터는 R, Python, Ruby 등과 같은 데이터 처리 도구를 통하여 처리되고 SQL, NoSQL 등과 같은 데이터 쿼리 언어를 통해 데이터를 저장한..

빅 데이터는 오늘날 모호한 허술하게 사용되는 모호한 용어이다. 간단히 표현하여 캐치프레이즈는 세 가지를 담고 있다. 첫째, 빅 데이터는 기술의 집약체이다. 둘째, 측정에 있어 잠재적 혁명이다. 셋째, 미래에 이루게 될 결정방법에 대한 관점 또는 철학이다. - Steve Lohr The New York Times[빅 데이터에 대하여 재고할 세 가지] 1. "빅"은 움직이는 목표이다.빅 데이터를 1 페타바이트와 같은 크기 이상의 데이터로 규정하는 하는 것은 의미없다.왜냐하면 크기에 대한 절대적인 조건이 있는 것처럼 생각되기 때문이다.크기가 도전적인 문제가 될 때에만 "빅"이라고 칭할 수 있을 것이다.따라서 "빅"의 개념은 데이터의 크기가 기존의 계산 도구가 감당할 수 있는 한계(메모리, 스토리지, 복잡도, ..

원문 : http://www.itworld.co.kr/news/88583물론 누구나 빅 데이터를 도입할 수 있다. 그러나 항상 제대로 활용되는 것은 아니다. 꼭 피해야 할 10가지 빅 데이터 사용 방법을 알아보자.1. 몽고DB를 빅 데이터 플랫폼으로 선택하기왜 몽고DB를 선택하는가? 이유는 모르겠지만, 지금 가장 많이 오용되는 NoSQL 데이터베이스는 몽고DB다. 몽고DB에는 맵리듀스, 그리고 (문서화가 매우 열악한) 하둡 커넥터와 비슷한 집계 프레임워크가 있긴 하지만 원래의 용도는 분석 시스템이 아니라 운영 데이터베이스다."몽고를 사용해서 분석할 것은..."이라고 생각한다면 그 생각을 당장 멈추라. 스스로 무슨 짓을 하고 있는지 돌아보길 바란다. 가끔 "추후 분석을 위한 수집"에 사용하는 경우도 있는데..

원본 : http://www.ciokorea.com/news/21776애플과 IBM의 제휴에는 단순히 기업 고객들에게 아이폰을 팔고자 하는 것 이상의 목표가 있었다. 두 회사 모두 이번 제휴를 통해 사물인터넷 분야에서 영향력을 넓혀 가고자 하는 것이다. 이번 건으로 전 세계적인 소비자 기술 기업과 인프라 기술 기업이 만나게 된 것이다. 애플과 IBM의 만남은 IBM의 데이터-크런칭(data-crunching) 툴을 애플 기기에서 좀 더 접근하기 쉽게 해주는 기업용 앱의 탄생을 가능케 할 것이다. 그리고 이 계획의 중심에는 빅 데이터가 있다.이번 계약에 관해 애플의 CEO 팀 쿡은 “드디어 IBM의 강력한 빅 데이터 분석 기능을 iOS 사용자들의 손가락 끝에 전해줄 수 있게 됐다. 이번 계약은 우리 애플에..

원문 : http://www.ciokorea.com/news/211461976년 설립 이래 38년 간 데이터 애널리틱스에만 집중해온 기업이 있다. 빅 데이터라는 용어가 2011년께 본격화된 점을 감안하면 적어도 30년 이상은 앞서 빅 데이터의 한 축을 준비해온 셈이다. 설립 이래 단 한 번도 마이너스 성장이 없었으며, 정리해고 또한 한 차례도 없었다. 매년 매출의 25%는 R&D에 투자해왔으며 본사 직원의 75%가 석박사급이다. 가트너에 따르면 비즈니스 애널리틱스 분야에서 2위 기업보다 점유율이 두 배나 높은 선두 기업이다. 그리고 지난 해에는 마침내 30억 달러 매출을 돌파했다. 빅 데이터 시대, 제대로 물 만난 기업 ‘SAS’ 이야기다. 만 10년째 SAS 코리아를 이끌고 있는 조성식 대표를 만나 데..

원문 : http://www.ciokorea.com/news/21148미국 시애틀 아동 병원은 데스크톱 가상화를 도입하고 시간이 흐른 후, 매일 비슷한 시간에 시스템의 성능이 저하되는 새로운 문제를 겪게 됐다. 원인을 찾아내고자 TFT를 구성했으나 정확한 원인을 찾지 못했다. 이 성능 저하 문제를 찾아준 것은 다름 아닌 빅 데이터 분석이었다. 몇 년 전, 미국 시애틀 어린이 병원(Seattle Children's Hospital)은 대대적으로 데스크톱 가상화(VDI)를 도입했다. 그러나 얼마 지나지 않아, 설명하기 어려운 VDI의 '유령'이 IT 부서에 큰 골칫거리를 초래하기 시작했다.이 회사의 CIO인 웨스 라이트는 "아침 8~10시 사이에 성능이 떨어지는 문제가 발생하기 시작했다. 더 자세히 말하면,..

원문 : http://www.ciokorea.com/slideshow/21053의료 산업은 빅 데이터 애널리틱스의 흥미로운 활용 사례들이 특히 많이 발생하고 있는 영역이다. 재입원율 감소에서 약물 관리 역량 개선, 의료 사기 적발 계획의 체계화 등, 다양한 활동들에서 빅 데이터 애널리틱스는 가시적인 성과를 보여주고 있다.어느 하나 탐나는 성과가 아닌 것이 없다. 그러나 여기에서 제기되는 한 가지 의문이 있다. 어떻게 시작할 것인가라는 질문이다. 대부분의 의료 데이터는 여전히 비정형적이고, 독점적이며, 사일로(silo) 방식으로 저장되고 있다. 또한 임상데이터 웨어하우스를 구축하는 과정은 고도의 복잡성으로 인해 언제나 시간에 쫓기는 의료 업계의 CIO들에겐 부담스러운 작업이다.다행히도 다른 이들보다 먼저 ..