Scientific Computing & Data Science

Written by Geol Choi | Oct. 21, 2017 이번 포스팅에서는 TensorFlow™(TF)의 시각화 도구인 TensorBoard를 이용하여 Computation Graph를 시각화하는 방법에 대하여 알아보도록 하겠습니다. 실행환경은 다음과 같습니다:OS: Windows 7 64-bitAnaconda: Python 3.6 (5.0.0)TensorFlow: r1.3R: 3.4.2 short summerRStudio: 1.0.136 필자의 실행환경은 위와 같지만, Windows가 아닌 다른 OS 환경에서도 동일한 방식으로 실행할 수 있으리라 예상됩니다. 본 튜토리얼은 딥러닝(Deep Learning;DL)에 대한 기본적인 개념을 이해하고 있으며, TensorFlow의 DL 구현에 대한 기..

원문 : http://www.bloter.net/archives/266469?utm_source=newsletter&utm_medium=email&utm_term=&utm_content=데이터+시각화,+보이는+작업량은+빙산의+일각&utm_campaign=BloterLetter 데이터시각화, 보이는 작업량은 빙산의 일각 사람들이 인터랙티브 데이터 시각화를 보고 가장 많이 물어보는 것 중 하나는 ‘어떻게 만드나요?’다. 늘 답변하기 어려웠다. 사용하는 도구도 단계마다 바뀌고 작업과정도 단계마다 특징이 다르기 때문이다. 그래서 이번 글에서 하나의 인터랙티브 데이터 시각화를 어떤 과정을 거쳐 제작하는지 정리하려고 한다.제작의 시작은 도구를 준비하는 것이다. 장인은 도구를 탓하지 않는다고 하지만 그래도 각 도구를..

이번 글에서는 Big Data와 직접적인 관련은 없지만 Fluctuation이 심한 데이터에 대한 경향을 살펴보는 기법 중 하나인 Moving Average에 대하여 알아본다. Moving Average에는 Simple Moving Average, Accumulative Moving Average, Weighted Moving Average, Modified Moving Average, Exponential Moving Average 등이 있으며, 이 중 가장 간단한 Simple Moving Average를 다루기로 한다. Theory & AlgorithmSimple Moving Average의 알고리즘은 매우 간단하다. n개의 데이터 윈도우사이즈(Window Size)에 대하여,최초 i개의 데이터 개수..

이번 글에서는 HTML5 JavaScript 챠트(Chart)인 CanvasJS 에 대하여 소개하고자 한다. HTML5 기반에서 다이내믹한 데이터 시각화를 위한 챠트를 제공하는 방법은 Flash 플러그인을 사용하거나 SVG(Scalable Vector Graphics), Canvas 등 표준 렌더링 태그를 사용하는 방법이 있다. 대부분 아다시피 Flash는 보안 문제 등으로 인해 점점 설 자리를 잃어가는 추세인 만큼, HTML5 표준 렌더링 태그를 사용하는 것을 강력히 추천한다. SVG와 Canvas는 각각의 장점과 단점이 있는 만큼 이들을 잘 파악하여 사용 목적에 따라 적절히 사용하는 것이 좋다. 이들에 대한 비교는 다음 링크에 잘 정리되어 있다: https://msdn.microsoft.com/ko-..

이번 글에서는 R의 데이터 시각화 패키지인 rCharts를 이용하여 데이터를 시각화하는 방법에 대하여 알아보도록 하겠다. 첫번째 순서로 rPlot을 이용하여 scatter plot을 그려보도록 한다. [데이터 가공] 우선 공공데이터 포털(www.data.go.kr)로부터 데이터 시각화를 위한 테스트 데이터를 얻는다. 얻고자 하는 데이터는 "국가별 경제지표 중 2010년 이후 지역별 수출선행지수 분기별 추이"이다. 직접 사이트를 방문하여 데이터를 다운로드하여도 되고 다음 링크를 클릭하여 다운로드 해도 된다. 데이터를 살펴보면 다음과 같다:,2012 Q1,2012 Q2,2012 Q3,2012 Q4,2013 Q1,2013 Q2,2013 Q3,2013 Q4,2014 Q1,2014Q2,2014Q3,2014Q4 유..

데이터 시각화의 목적은 그래프 등의 형태로 표현하여 숫자 또는 문자만으로는 발견하기 어려운 패턴 또는 관계를 한 눈에 발견하기 쉽도록 하는 것이다. 시각화는 일단 멋있어 보이는 것도 중요하며 무엇보다 의미를 찾아낼 수 있도록 하여 의사결정에 기여를 해야한다. 결국 데이터를 시각화한다는 것은, 복잡한 데이터 세트(그것이 크든 작든)의 설명을 보다 효과적으로 전달하기 위함이다.데이타 시각화의 종류는 매우 다양한데 대표적인 것으로는, 바 차트 (Bar Chart) 파이 차트 (Pie Chart) 히트 맵 (Hear Map) 빈도 워들 (Frequency Wordle) 등이 있다. 이외에도 보다 다양한 종류가 있는데 이에 대해서는 데이터 시각화에 대한 내용을 다룰 때 소개하도록 하겠다. 데이터 시각화 기법을 중..

데이터를 분석하는 목적은 여러가지가 있겠지만 공통적으로는 과거로부터 현재까지 수집된 데이터를 기반으로 어떠한 현상이나 트렌드를 찾아내는 것이다. 즉, 데이터 분석은 어떠한 현상이나 트렌드가 어떠한 데이터와 상관성이 있는지를 발견하고, 이에 대한 인과관계를 규명하는 시작점이 될 것이다. 더 나아가서는 이러한 데이터를 바탕으로 미래에 어떠한 현상이 나타날지를 예측하는 데에도 목적이 있을 것이다. 우리는 최근 정보 사회에서 지식 사회로 패러다임의 변화를 겪고 있다. 적어도 현재까지는 "지식(knowledge)"이라 함은 과거의 현상을 얼마나 잘 이해하고 있는가로 정의되었다면 이제부터의 "지식"은 미래를 얼마나 잘 예측할 수 있는가로 깊이가 판가름 날 것이다. 데이터 분석에 있어 항상 겪는 일이지만 판단 기준(..

원문: http://www.ciokorea.com/slideshow/19630/?slide=1#stage_slide오늘날 디지털 세계에는 데이터가 부족할 수가 없다. 오히려 데이터 과부하 시대라고 하는 표현이 더 어울리겠다. 기업들은 클라우드, 모바일 기술, 소셜 미디어에 투자하고 있다. 이와 함께 기업에 미치는 영향을 생각하면 얼마나 많은 데이터가 수집되고 있는지를 알 수 있을 것이다. 플로리다의 탐파(Tampa)에 본사를 둔 헤드헌팅 기업 케이포스(Kforce)의 최근 조사에 따르면 이런 데이터의 증가와 함께 데이터를 수집하고 정리하며 분석할 수 있는 사람들에 대한 수요도 늘어나고 있다고 한다. ETL(Extract(추출), Transfer(전송), Load(불러오기) 개발자데이터가 폭발적으로 증가하..

원문: http://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=105&oid=030&aid=0002258886삼성전자가 자사 제품의 고객 불만을 빅데이터 기술로 사전 탐지해 선제 대응한다. 사용자 게시판 등에 올라온 고객 불만이 큰 이슈로 확대되기 전에 미리 예측해 대응하겠다는 전략이다. 단순 검색엔진을 도입하는 수준에서 벗어나 대규모 `빅데이터` 플랫폼을 구축해 고객 불만에 선제 대응하는 것은 삼성전자가 국내 처음이다. 10일 업계에 따르면 삼성전자가 최신 빅데이터 기술을 결합해 `빅데이터 기반 고객소리(VOC) 통합관리시스템`을 개발하고 있다. 다음 달 중순 가동을 목표로 현재 개발 막바지 단계에 돌입한 것으로 확인됐다. 삼성전자는 주요 인터넷 사이트나..