Scientific Computing & Data Science

이번 글에서는 Big Data와 직접적인 관련은 없지만 Fluctuation이 심한 데이터에 대한 경향을 살펴보는 기법 중 하나인 Moving Average에 대하여 알아본다. Moving Average에는 Simple Moving Average, Accumulative Moving Average, Weighted Moving Average, Modified Moving Average, Exponential Moving Average 등이 있으며, 이 중 가장 간단한 Simple Moving Average를 다루기로 한다. Theory & AlgorithmSimple Moving Average의 알고리즘은 매우 간단하다. n개의 데이터 윈도우사이즈(Window Size)에 대하여,최초 i개의 데이터 개수..

기사원문: http://magazine.hankyung.com/business/apps/news?popup=0&nid=01&c1=1003&nkey=2015073101026000231&mode=sub_view미국의 버락 오바마 대통령은 작년 사생활 보호권 전문가·과학기술자·사업가 등과 빅 데이터가 가져오는 민간 및 공공 영역에서의 사생활 침해 위협을 파악하고 이를 최소화하면서 정보를 자유롭게 공유할 수 있는 방안을 검토하라고 지시했다. 미 대통령 과학기술자문위원회(PCAST)는 기술적인 관점을 중심으로 이를 검토, ‘빅 데이터와 사생활 보호권 : 기술적인 관점(BigData and Privacy : A Technological Perspective)’이라는 보고서를 제출했다. 이 보고서에 담긴 주요 내용을..

빅 데이터는 오늘날 모호한 허술하게 사용되는 모호한 용어이다. 간단히 표현하여 캐치프레이즈는 세 가지를 담고 있다. 첫째, 빅 데이터는 기술의 집약체이다. 둘째, 측정에 있어 잠재적 혁명이다. 셋째, 미래에 이루게 될 결정방법에 대한 관점 또는 철학이다. - Steve Lohr The New York Times[빅 데이터에 대하여 재고할 세 가지] 1. "빅"은 움직이는 목표이다.빅 데이터를 1 페타바이트와 같은 크기 이상의 데이터로 규정하는 하는 것은 의미없다.왜냐하면 크기에 대한 절대적인 조건이 있는 것처럼 생각되기 때문이다.크기가 도전적인 문제가 될 때에만 "빅"이라고 칭할 수 있을 것이다.따라서 "빅"의 개념은 데이터의 크기가 기존의 계산 도구가 감당할 수 있는 한계(메모리, 스토리지, 복잡도, ..

원문 : http://www.itworld.co.kr/news/88583물론 누구나 빅 데이터를 도입할 수 있다. 그러나 항상 제대로 활용되는 것은 아니다. 꼭 피해야 할 10가지 빅 데이터 사용 방법을 알아보자.1. 몽고DB를 빅 데이터 플랫폼으로 선택하기왜 몽고DB를 선택하는가? 이유는 모르겠지만, 지금 가장 많이 오용되는 NoSQL 데이터베이스는 몽고DB다. 몽고DB에는 맵리듀스, 그리고 (문서화가 매우 열악한) 하둡 커넥터와 비슷한 집계 프레임워크가 있긴 하지만 원래의 용도는 분석 시스템이 아니라 운영 데이터베이스다."몽고를 사용해서 분석할 것은..."이라고 생각한다면 그 생각을 당장 멈추라. 스스로 무슨 짓을 하고 있는지 돌아보길 바란다. 가끔 "추후 분석을 위한 수집"에 사용하는 경우도 있는데..

원본 : http://www.ciokorea.com/news/21776애플과 IBM의 제휴에는 단순히 기업 고객들에게 아이폰을 팔고자 하는 것 이상의 목표가 있었다. 두 회사 모두 이번 제휴를 통해 사물인터넷 분야에서 영향력을 넓혀 가고자 하는 것이다. 이번 건으로 전 세계적인 소비자 기술 기업과 인프라 기술 기업이 만나게 된 것이다. 애플과 IBM의 만남은 IBM의 데이터-크런칭(data-crunching) 툴을 애플 기기에서 좀 더 접근하기 쉽게 해주는 기업용 앱의 탄생을 가능케 할 것이다. 그리고 이 계획의 중심에는 빅 데이터가 있다.이번 계약에 관해 애플의 CEO 팀 쿡은 “드디어 IBM의 강력한 빅 데이터 분석 기능을 iOS 사용자들의 손가락 끝에 전해줄 수 있게 됐다. 이번 계약은 우리 애플에..

원문 : http://www.ciokorea.com/news/211461976년 설립 이래 38년 간 데이터 애널리틱스에만 집중해온 기업이 있다. 빅 데이터라는 용어가 2011년께 본격화된 점을 감안하면 적어도 30년 이상은 앞서 빅 데이터의 한 축을 준비해온 셈이다. 설립 이래 단 한 번도 마이너스 성장이 없었으며, 정리해고 또한 한 차례도 없었다. 매년 매출의 25%는 R&D에 투자해왔으며 본사 직원의 75%가 석박사급이다. 가트너에 따르면 비즈니스 애널리틱스 분야에서 2위 기업보다 점유율이 두 배나 높은 선두 기업이다. 그리고 지난 해에는 마침내 30억 달러 매출을 돌파했다. 빅 데이터 시대, 제대로 물 만난 기업 ‘SAS’ 이야기다. 만 10년째 SAS 코리아를 이끌고 있는 조성식 대표를 만나 데..

원문 : http://www.ciokorea.com/news/21148미국 시애틀 아동 병원은 데스크톱 가상화를 도입하고 시간이 흐른 후, 매일 비슷한 시간에 시스템의 성능이 저하되는 새로운 문제를 겪게 됐다. 원인을 찾아내고자 TFT를 구성했으나 정확한 원인을 찾지 못했다. 이 성능 저하 문제를 찾아준 것은 다름 아닌 빅 데이터 분석이었다. 몇 년 전, 미국 시애틀 어린이 병원(Seattle Children's Hospital)은 대대적으로 데스크톱 가상화(VDI)를 도입했다. 그러나 얼마 지나지 않아, 설명하기 어려운 VDI의 '유령'이 IT 부서에 큰 골칫거리를 초래하기 시작했다.이 회사의 CIO인 웨스 라이트는 "아침 8~10시 사이에 성능이 떨어지는 문제가 발생하기 시작했다. 더 자세히 말하면,..

원문 : http://www.ciokorea.com/slideshow/21053의료 산업은 빅 데이터 애널리틱스의 흥미로운 활용 사례들이 특히 많이 발생하고 있는 영역이다. 재입원율 감소에서 약물 관리 역량 개선, 의료 사기 적발 계획의 체계화 등, 다양한 활동들에서 빅 데이터 애널리틱스는 가시적인 성과를 보여주고 있다.어느 하나 탐나는 성과가 아닌 것이 없다. 그러나 여기에서 제기되는 한 가지 의문이 있다. 어떻게 시작할 것인가라는 질문이다. 대부분의 의료 데이터는 여전히 비정형적이고, 독점적이며, 사일로(silo) 방식으로 저장되고 있다. 또한 임상데이터 웨어하우스를 구축하는 과정은 고도의 복잡성으로 인해 언제나 시간에 쫓기는 의료 업계의 CIO들에겐 부담스러운 작업이다.다행히도 다른 이들보다 먼저 ..

원문 : http://www.ciokorea.com/news/21117빅 데이터에 대한 소유권이 어디에 속하는지 계약서에서 명확하게 밝히지 않는다면, 뒤죽박죽 섞여 있는 내외부 데이터가 문제를 야기할 수 있다. 그리고 이 문제는 한동안 계속될 것이다. 사람들은 ‘빅 데이터’라는 단어의 뜻에 대해 동의하지 않을 수도 있지만, 기업이 클라우드에서 대용량 데이터 세트를 분석하여 이득을 얻을 수 있다는 데에는 동의한다. 문제는 정확한 데이터는 확보하느냐다.기업이 내부에 상당량의 데이터를 가지고 있지만, 종종 그 데이터는 여기저기 흩어져 저장돼 있고 불완전한 상태인 경우가 있다. 이러한 데이터는 빅 데이터가 흔히 약속하는 이점을 얻는데 방해가 될 뿐이다. 다행히, 불충분한 데이터 문제를 해결할 방법이 있다. 더 ..

원문 : http://www.ciokorea.com/news/21122조직의 인력 구성이 다양해야 생산성과 혁신성이 향상된다. 또 시장 점유율 확대, 수익성 증대, 이직률 경감에도 도움이 될 수 있다. 이런 주장에는 독자 여러분들도 쉽게 동의할 것이다. 그러나 까다로운 부분이 있다. 어떻게 다양성을 구축하냐는 것이다.채용 전문 회사인 엔텔로(Entelo)는 이를 위한 기회를 제공했다. 엔텔로의 CEO 존 비슈케는 자신의 회사가 HR 관리자, 담당자, 리쿠르터 등이 다양하면서도 불충분하게 반영된(소수계) 인력군에서 인재를 파악해 유치하고 채용할 수 있도록 도움을 주는 서비스를 제공하고 있다고 강조했다. 다양한 인력 갖춘 균형잡힌 채용비슈케는 "다양성과 균형성을 갖춘 인력군을 창출하고, 여성과 다양한 인종,..