Scientific Computing & Data Science

원문 : http://www.bloter.net/archives/266469?utm_source=newsletter&utm_medium=email&utm_term=&utm_content=데이터+시각화,+보이는+작업량은+빙산의+일각&utm_campaign=BloterLetter 데이터시각화, 보이는 작업량은 빙산의 일각 사람들이 인터랙티브 데이터 시각화를 보고 가장 많이 물어보는 것 중 하나는 ‘어떻게 만드나요?’다. 늘 답변하기 어려웠다. 사용하는 도구도 단계마다 바뀌고 작업과정도 단계마다 특징이 다르기 때문이다. 그래서 이번 글에서 하나의 인터랙티브 데이터 시각화를 어떤 과정을 거쳐 제작하는지 정리하려고 한다.제작의 시작은 도구를 준비하는 것이다. 장인은 도구를 탓하지 않는다고 하지만 그래도 각 도구를..

이번 글에서는 Big Data와 직접적인 관련은 없지만 Fluctuation이 심한 데이터에 대한 경향을 살펴보는 기법 중 하나인 Moving Average에 대하여 알아본다. Moving Average에는 Simple Moving Average, Accumulative Moving Average, Weighted Moving Average, Modified Moving Average, Exponential Moving Average 등이 있으며, 이 중 가장 간단한 Simple Moving Average를 다루기로 한다. Theory & AlgorithmSimple Moving Average의 알고리즘은 매우 간단하다. n개의 데이터 윈도우사이즈(Window Size)에 대하여,최초 i개의 데이터 개수..

이번 글에서는 HTML5 JavaScript 챠트(Chart)인 CanvasJS 에 대하여 소개하고자 한다. HTML5 기반에서 다이내믹한 데이터 시각화를 위한 챠트를 제공하는 방법은 Flash 플러그인을 사용하거나 SVG(Scalable Vector Graphics), Canvas 등 표준 렌더링 태그를 사용하는 방법이 있다. 대부분 아다시피 Flash는 보안 문제 등으로 인해 점점 설 자리를 잃어가는 추세인 만큼, HTML5 표준 렌더링 태그를 사용하는 것을 강력히 추천한다. SVG와 Canvas는 각각의 장점과 단점이 있는 만큼 이들을 잘 파악하여 사용 목적에 따라 적절히 사용하는 것이 좋다. 이들에 대한 비교는 다음 링크에 잘 정리되어 있다: https://msdn.microsoft.com/ko-..

이번 글에서는 R의 데이터 시각화 패키지인 rCharts를 이용하여 데이터를 시각화하는 방법에 대하여 알아보도록 하겠다. 첫번째 순서로 rPlot을 이용하여 scatter plot을 그려보도록 한다. [데이터 가공] 우선 공공데이터 포털(www.data.go.kr)로부터 데이터 시각화를 위한 테스트 데이터를 얻는다. 얻고자 하는 데이터는 "국가별 경제지표 중 2010년 이후 지역별 수출선행지수 분기별 추이"이다. 직접 사이트를 방문하여 데이터를 다운로드하여도 되고 다음 링크를 클릭하여 다운로드 해도 된다. 데이터를 살펴보면 다음과 같다:,2012 Q1,2012 Q2,2012 Q3,2012 Q4,2013 Q1,2013 Q2,2013 Q3,2013 Q4,2014 Q1,2014Q2,2014Q3,2014Q4 유..

이번 글에서는 "Data for R in a nutshell"이 제공하는 2006년도 출산 데이터와 다양한 시각화 도구를 이용하여 데이터 분석 및 마이닝을 연습해 보도록 한다."R in a nutshell"의 데이터를 불러오는 방법에 대한 자세한 내용은 패키지와 데이터 기본을 참고하도록 한다. [준비할 사항]데이터의 시각화를 위해 lattice 라이브러리와 nuteshell 라이브러리를 불러온다. lattice 라이브러리는 barchart, histogram, density plot 등 다양한 데이터 시각화 도구를 제공하며, nuteshell 라이브러리는 데이터 분석 연습을 위한 샘플을 제공한다.> library(lattice) > library(nutshell)데이터는 2006년도 출산 샘플 데이터인 ..

데이터 시각화의 목적은 그래프 등의 형태로 표현하여 숫자 또는 문자만으로는 발견하기 어려운 패턴 또는 관계를 한 눈에 발견하기 쉽도록 하는 것이다. 시각화는 일단 멋있어 보이는 것도 중요하며 무엇보다 의미를 찾아낼 수 있도록 하여 의사결정에 기여를 해야한다. 결국 데이터를 시각화한다는 것은, 복잡한 데이터 세트(그것이 크든 작든)의 설명을 보다 효과적으로 전달하기 위함이다.데이타 시각화의 종류는 매우 다양한데 대표적인 것으로는, 바 차트 (Bar Chart) 파이 차트 (Pie Chart) 히트 맵 (Hear Map) 빈도 워들 (Frequency Wordle) 등이 있다. 이외에도 보다 다양한 종류가 있는데 이에 대해서는 데이터 시각화에 대한 내용을 다룰 때 소개하도록 하겠다. 데이터 시각화 기법을 중..

데이터를 분석하는 목적은 여러가지가 있겠지만 공통적으로는 과거로부터 현재까지 수집된 데이터를 기반으로 어떠한 현상이나 트렌드를 찾아내는 것이다. 즉, 데이터 분석은 어떠한 현상이나 트렌드가 어떠한 데이터와 상관성이 있는지를 발견하고, 이에 대한 인과관계를 규명하는 시작점이 될 것이다. 더 나아가서는 이러한 데이터를 바탕으로 미래에 어떠한 현상이 나타날지를 예측하는 데에도 목적이 있을 것이다. 우리는 최근 정보 사회에서 지식 사회로 패러다임의 변화를 겪고 있다. 적어도 현재까지는 "지식(knowledge)"이라 함은 과거의 현상을 얼마나 잘 이해하고 있는가로 정의되었다면 이제부터의 "지식"은 미래를 얼마나 잘 예측할 수 있는가로 깊이가 판가름 날 것이다. 데이터 분석에 있어 항상 겪는 일이지만 판단 기준(..

원문: http://www.ciokorea.com/slideshow/19630/?slide=1#stage_slide오늘날 디지털 세계에는 데이터가 부족할 수가 없다. 오히려 데이터 과부하 시대라고 하는 표현이 더 어울리겠다. 기업들은 클라우드, 모바일 기술, 소셜 미디어에 투자하고 있다. 이와 함께 기업에 미치는 영향을 생각하면 얼마나 많은 데이터가 수집되고 있는지를 알 수 있을 것이다. 플로리다의 탐파(Tampa)에 본사를 둔 헤드헌팅 기업 케이포스(Kforce)의 최근 조사에 따르면 이런 데이터의 증가와 함께 데이터를 수집하고 정리하며 분석할 수 있는 사람들에 대한 수요도 늘어나고 있다고 한다. ETL(Extract(추출), Transfer(전송), Load(불러오기) 개발자데이터가 폭발적으로 증가하..