Scientific Computing & Data Science

Data Science, Big Data, Data Analytics에 대한 설명을 잘 해놓은 (무엇보다도 심플하면서도 간결한 디자인이 맘에 드는) 자료가 있어 소개하고자 한다.

기사원문: http://view.asiae.co.kr/news/view.htm?idxno=2017070214344936004 빅데이터로 배달업종 이용분석 요일 ·연령 등 고객특성 파악해 맞춤형 영업전략 수립 가능 SKT '빅데이터 허브' 개방 4년째 범죄예방 ·교통분석 등 시너지 빅데이터는 지금 조류독감(AI)과의 '보이지 않는 전쟁' 중이다. 기업이 모은 빅데이터를 민간과 공유하면서 범죄예방, 교통량 분석, 상권분석 등 다양한 시너지를 만들어내고 있다. 2일 SK텔레콤은 "국내 첫 민간 빅데이터 개방 사례인 '빅데이터 허브'의 데이터 이용 신청 건수가 6월 말 기준 1만 1000건을 돌파했다고 밝혔다. '빅데이터 허브'는 지난 2013년 10월 첫 개방 이후 4년째를 맞고 있으며, 공개 데이터는 최초 ..

기사원문: http://www.fnnews.com/news/201707021729567142 SKT, 가입자 이동 데이터에 탑승자 결제정보 활용한 택시 서비스 구상중이지만 개인정보보호법 등에 막혀 당장 사업화하지는 못해 서민들의 체감경기는 여전히 냉골이어서 택시기사들은 손님맞기가 쉽지 않다. 그러나 통신회사의 가입자 이동 데이터와 택시 탑승자들의 결제정보를 결합한 빅데이터를 활용하면 손님이 끊기지 않는 노선도를 그릴 수 있다. 지난해 하루 평균 3360개의 중소 자영업체가 문을 열었지만 경영난을 이기지 못해 문을 닫는 자영업자도 하루 평균 2491개에 달한다. 그러나 빅데이터를 활용해 상권을 분석하고 주요 소비패턴을 분석하면 불황의 파고를 넘을 수 있는 사업 아이템과 상점 위치를 족집게처럼 찾아낼 수 있..

알고리즘은 우리의 직업을 빼앗을 것인가? 그렇다, 정말 그렇다... 그런데 이것은 좋은 것이다.알고리즘은 문제를 풀고 목표를 달성을 돕는 규칙이 있는 과정의 연속물이다. 또한 이러한 과정과 규칙을 구조화 할 때 즉각적으로 인공지능(Artificial Intelligence; A.I.)을 구현하기 위한 알고리즘을 자동화하는 것이 가능하다. 이것이 우리의 과중한 분석 업무를 돕는 인공지능이며 이로써 우리는 우리가 본래의 업무에 충실할 수 있게 된다.인공지능는 우리의 직업, 업무 스타일, 비즈니스 문화를 바꾸고 있다. 인공지능은 우리가 인간 본연의 일인 핵심 문제에 집중할 수 있도록 돕는다. 그러나 일터에서 인공지능을 이용하는 것은 단순하지 않다. 인공지능을 구현하기 위한 알고리즘의 수준은 천차만별이며 이들은..

이번 글에서는 Big Data와 직접적인 관련은 없지만 Fluctuation이 심한 데이터에 대한 경향을 살펴보는 기법 중 하나인 Moving Average에 대하여 알아본다. Moving Average에는 Simple Moving Average, Accumulative Moving Average, Weighted Moving Average, Modified Moving Average, Exponential Moving Average 등이 있으며, 이 중 가장 간단한 Simple Moving Average를 다루기로 한다. Theory & AlgorithmSimple Moving Average의 알고리즘은 매우 간단하다. n개의 데이터 윈도우사이즈(Window Size)에 대하여,최초 i개의 데이터 개수..

기사원문: http://magazine.hankyung.com/business/apps/news?popup=0&nid=01&c1=1003&nkey=2015073101026000231&mode=sub_view미국의 버락 오바마 대통령은 작년 사생활 보호권 전문가·과학기술자·사업가 등과 빅 데이터가 가져오는 민간 및 공공 영역에서의 사생활 침해 위협을 파악하고 이를 최소화하면서 정보를 자유롭게 공유할 수 있는 방안을 검토하라고 지시했다. 미 대통령 과학기술자문위원회(PCAST)는 기술적인 관점을 중심으로 이를 검토, ‘빅 데이터와 사생활 보호권 : 기술적인 관점(BigData and Privacy : A Technological Perspective)’이라는 보고서를 제출했다. 이 보고서에 담긴 주요 내용을..

Written by CINEMA4D데이터 과학에 있어 데이터를 처리하는 순서는 다음 그림과 같다: [실세계]각종 포털사이트, 온/오프라인 쇼핑몰, Facebook, Google+, Twitter와 같은 SNS 등 데이터를 수집할 수 있는 모든 데이터 원천을 의미한다. [미가공 데이터]실세계로부터 얻어진 데이터는 가공되지 않은 형태의 "있는 그대로의 데이터(Raw Data)"로 존재한다. 이것은 로그 파일, 이메일, 동영상, 음성 등 다양한 비정형 데이터로 존재할 가능성이 높으며 정형화 된 형태일지라도 데이터가 유실될 경우도 많다. [데이터 처리]미가공 데이터는 R, Python, Ruby 등과 같은 데이터 처리 도구를 통하여 처리되고 SQL, NoSQL 등과 같은 데이터 쿼리 언어를 통해 데이터를 저장한..

빅 데이터는 오늘날 모호한 허술하게 사용되는 모호한 용어이다. 간단히 표현하여 캐치프레이즈는 세 가지를 담고 있다. 첫째, 빅 데이터는 기술의 집약체이다. 둘째, 측정에 있어 잠재적 혁명이다. 셋째, 미래에 이루게 될 결정방법에 대한 관점 또는 철학이다. - Steve Lohr The New York Times[빅 데이터에 대하여 재고할 세 가지] 1. "빅"은 움직이는 목표이다.빅 데이터를 1 페타바이트와 같은 크기 이상의 데이터로 규정하는 하는 것은 의미없다.왜냐하면 크기에 대한 절대적인 조건이 있는 것처럼 생각되기 때문이다.크기가 도전적인 문제가 될 때에만 "빅"이라고 칭할 수 있을 것이다.따라서 "빅"의 개념은 데이터의 크기가 기존의 계산 도구가 감당할 수 있는 한계(메모리, 스토리지, 복잡도, ..

원문 : http://www.itworld.co.kr/news/88583물론 누구나 빅 데이터를 도입할 수 있다. 그러나 항상 제대로 활용되는 것은 아니다. 꼭 피해야 할 10가지 빅 데이터 사용 방법을 알아보자.1. 몽고DB를 빅 데이터 플랫폼으로 선택하기왜 몽고DB를 선택하는가? 이유는 모르겠지만, 지금 가장 많이 오용되는 NoSQL 데이터베이스는 몽고DB다. 몽고DB에는 맵리듀스, 그리고 (문서화가 매우 열악한) 하둡 커넥터와 비슷한 집계 프레임워크가 있긴 하지만 원래의 용도는 분석 시스템이 아니라 운영 데이터베이스다."몽고를 사용해서 분석할 것은..."이라고 생각한다면 그 생각을 당장 멈추라. 스스로 무슨 짓을 하고 있는지 돌아보길 바란다. 가끔 "추후 분석을 위한 수집"에 사용하는 경우도 있는데..

원본 : http://www.ciokorea.com/news/21776애플과 IBM의 제휴에는 단순히 기업 고객들에게 아이폰을 팔고자 하는 것 이상의 목표가 있었다. 두 회사 모두 이번 제휴를 통해 사물인터넷 분야에서 영향력을 넓혀 가고자 하는 것이다. 이번 건으로 전 세계적인 소비자 기술 기업과 인프라 기술 기업이 만나게 된 것이다. 애플과 IBM의 만남은 IBM의 데이터-크런칭(data-crunching) 툴을 애플 기기에서 좀 더 접근하기 쉽게 해주는 기업용 앱의 탄생을 가능케 할 것이다. 그리고 이 계획의 중심에는 빅 데이터가 있다.이번 계약에 관해 애플의 CEO 팀 쿡은 “드디어 IBM의 강력한 빅 데이터 분석 기능을 iOS 사용자들의 손가락 끝에 전해줄 수 있게 됐다. 이번 계약은 우리 애플에..