Scientific Computing & Data Science

Data Science, Big Data, Data Analytics에 대한 설명을 잘 해놓은 (무엇보다도 심플하면서도 간결한 디자인이 맘에 드는) 자료가 있어 소개하고자 한다.

기사원문: http://view.asiae.co.kr/news/view.htm?idxno=2017070214344936004 빅데이터로 배달업종 이용분석 요일 ·연령 등 고객특성 파악해 맞춤형 영업전략 수립 가능 SKT '빅데이터 허브' 개방 4년째 범죄예방 ·교통분석 등 시너지 빅데이터는 지금 조류독감(AI)과의 '보이지 않는 전쟁' 중이다. 기업이 모은 빅데이터를 민간과 공유하면서 범죄예방, 교통량 분석, 상권분석 등 다양한 시너지를 만들어내고 있다. 2일 SK텔레콤은 "국내 첫 민간 빅데이터 개방 사례인 '빅데이터 허브'의 데이터 이용 신청 건수가 6월 말 기준 1만 1000건을 돌파했다고 밝혔다. '빅데이터 허브'는 지난 2013년 10월 첫 개방 이후 4년째를 맞고 있으며, 공개 데이터는 최초 ..

기사원문: http://www.fnnews.com/news/201707021729567142 SKT, 가입자 이동 데이터에 탑승자 결제정보 활용한 택시 서비스 구상중이지만 개인정보보호법 등에 막혀 당장 사업화하지는 못해 서민들의 체감경기는 여전히 냉골이어서 택시기사들은 손님맞기가 쉽지 않다. 그러나 통신회사의 가입자 이동 데이터와 택시 탑승자들의 결제정보를 결합한 빅데이터를 활용하면 손님이 끊기지 않는 노선도를 그릴 수 있다. 지난해 하루 평균 3360개의 중소 자영업체가 문을 열었지만 경영난을 이기지 못해 문을 닫는 자영업자도 하루 평균 2491개에 달한다. 그러나 빅데이터를 활용해 상권을 분석하고 주요 소비패턴을 분석하면 불황의 파고를 넘을 수 있는 사업 아이템과 상점 위치를 족집게처럼 찾아낼 수 있..

알고리즘은 우리의 직업을 빼앗을 것인가? 그렇다, 정말 그렇다... 그런데 이것은 좋은 것이다.알고리즘은 문제를 풀고 목표를 달성을 돕는 규칙이 있는 과정의 연속물이다. 또한 이러한 과정과 규칙을 구조화 할 때 즉각적으로 인공지능(Artificial Intelligence; A.I.)을 구현하기 위한 알고리즘을 자동화하는 것이 가능하다. 이것이 우리의 과중한 분석 업무를 돕는 인공지능이며 이로써 우리는 우리가 본래의 업무에 충실할 수 있게 된다.인공지능는 우리의 직업, 업무 스타일, 비즈니스 문화를 바꾸고 있다. 인공지능은 우리가 인간 본연의 일인 핵심 문제에 집중할 수 있도록 돕는다. 그러나 일터에서 인공지능을 이용하는 것은 단순하지 않다. 인공지능을 구현하기 위한 알고리즘의 수준은 천차만별이며 이들은..

이 글은 Data Science Central의 Deep Learning: Definition, Resources, Comparison with Machine Learning을 번역한 것입니다. 딥 러닝은 이따금 머신러닝과 인공지능 간의 교차점으로 불리기도 한다. 딥 러닝은 타겟 테러리스트를 감지하기 위해 드론에서 사용되는 얼굴 인식 기술 등과 같이 로봇을 지능화할 수 있는 알고리즘 및 비행기, 기차, 보트, 자동차가 자동으로 주행할 수 있도록 하는 패턴 인식 / 컴퓨터 비전 알고리즘을 설계하는 것과 관련이 깊다.다수의 딥 러닝 알고리즘들(클러스터링, 패턴 인식, 자동경매, 추천 엔진 등)은 IoT, 머신-머신 통신 등과 같은 새로운 맥락에 등장한다고 하더라도 로지스틱 회귀분석, SVM, 결정 트리(De..

이번 글에서는 Big Data와 직접적인 관련은 없지만 Fluctuation이 심한 데이터에 대한 경향을 살펴보는 기법 중 하나인 Moving Average에 대하여 알아본다. Moving Average에는 Simple Moving Average, Accumulative Moving Average, Weighted Moving Average, Modified Moving Average, Exponential Moving Average 등이 있으며, 이 중 가장 간단한 Simple Moving Average를 다루기로 한다. Theory & AlgorithmSimple Moving Average의 알고리즘은 매우 간단하다. n개의 데이터 윈도우사이즈(Window Size)에 대하여,최초 i개의 데이터 개수..

기사원문: http://magazine.hankyung.com/business/apps/news?popup=0&nid=01&c1=1003&nkey=2015073101026000231&mode=sub_view미국의 버락 오바마 대통령은 작년 사생활 보호권 전문가·과학기술자·사업가 등과 빅 데이터가 가져오는 민간 및 공공 영역에서의 사생활 침해 위협을 파악하고 이를 최소화하면서 정보를 자유롭게 공유할 수 있는 방안을 검토하라고 지시했다. 미 대통령 과학기술자문위원회(PCAST)는 기술적인 관점을 중심으로 이를 검토, ‘빅 데이터와 사생활 보호권 : 기술적인 관점(BigData and Privacy : A Technological Perspective)’이라는 보고서를 제출했다. 이 보고서에 담긴 주요 내용을..

Written by CINEMA4D데이터 과학에 있어 데이터를 처리하는 순서는 다음 그림과 같다: [실세계]각종 포털사이트, 온/오프라인 쇼핑몰, Facebook, Google+, Twitter와 같은 SNS 등 데이터를 수집할 수 있는 모든 데이터 원천을 의미한다. [미가공 데이터]실세계로부터 얻어진 데이터는 가공되지 않은 형태의 "있는 그대로의 데이터(Raw Data)"로 존재한다. 이것은 로그 파일, 이메일, 동영상, 음성 등 다양한 비정형 데이터로 존재할 가능성이 높으며 정형화 된 형태일지라도 데이터가 유실될 경우도 많다. [데이터 처리]미가공 데이터는 R, Python, Ruby 등과 같은 데이터 처리 도구를 통하여 처리되고 SQL, NoSQL 등과 같은 데이터 쿼리 언어를 통해 데이터를 저장한..

빅 데이터는 오늘날 모호한 허술하게 사용되는 모호한 용어이다. 간단히 표현하여 캐치프레이즈는 세 가지를 담고 있다. 첫째, 빅 데이터는 기술의 집약체이다. 둘째, 측정에 있어 잠재적 혁명이다. 셋째, 미래에 이루게 될 결정방법에 대한 관점 또는 철학이다. - Steve Lohr The New York Times[빅 데이터에 대하여 재고할 세 가지] 1. "빅"은 움직이는 목표이다.빅 데이터를 1 페타바이트와 같은 크기 이상의 데이터로 규정하는 하는 것은 의미없다.왜냐하면 크기에 대한 절대적인 조건이 있는 것처럼 생각되기 때문이다.크기가 도전적인 문제가 될 때에만 "빅"이라고 칭할 수 있을 것이다.따라서 "빅"의 개념은 데이터의 크기가 기존의 계산 도구가 감당할 수 있는 한계(메모리, 스토리지, 복잡도, ..

이번 글에서는 R의 데이터 시각화 패키지인 rCharts를 이용하여 데이터를 시각화하는 방법에 대하여 알아보도록 하겠다. 첫번째 순서로 rPlot을 이용하여 scatter plot을 그려보도록 한다. [데이터 가공] 우선 공공데이터 포털(www.data.go.kr)로부터 데이터 시각화를 위한 테스트 데이터를 얻는다. 얻고자 하는 데이터는 "국가별 경제지표 중 2010년 이후 지역별 수출선행지수 분기별 추이"이다. 직접 사이트를 방문하여 데이터를 다운로드하여도 되고 다음 링크를 클릭하여 다운로드 해도 된다. 데이터를 살펴보면 다음과 같다:,2012 Q1,2012 Q2,2012 Q3,2012 Q4,2013 Q1,2013 Q2,2013 Q3,2013 Q4,2014 Q1,2014Q2,2014Q3,2014Q4 유..