Scientific Computing & Data Science

원문 : http://www.ciokorea.com/news/21117빅 데이터에 대한 소유권이 어디에 속하는지 계약서에서 명확하게 밝히지 않는다면, 뒤죽박죽 섞여 있는 내외부 데이터가 문제를 야기할 수 있다. 그리고 이 문제는 한동안 계속될 것이다. 사람들은 ‘빅 데이터’라는 단어의 뜻에 대해 동의하지 않을 수도 있지만, 기업이 클라우드에서 대용량 데이터 세트를 분석하여 이득을 얻을 수 있다는 데에는 동의한다. 문제는 정확한 데이터는 확보하느냐다.기업이 내부에 상당량의 데이터를 가지고 있지만, 종종 그 데이터는 여기저기 흩어져 저장돼 있고 불완전한 상태인 경우가 있다. 이러한 데이터는 빅 데이터가 흔히 약속하는 이점을 얻는데 방해가 될 뿐이다. 다행히, 불충분한 데이터 문제를 해결할 방법이 있다. 더 ..

원문 : http://www.ciokorea.com/news/21122조직의 인력 구성이 다양해야 생산성과 혁신성이 향상된다. 또 시장 점유율 확대, 수익성 증대, 이직률 경감에도 도움이 될 수 있다. 이런 주장에는 독자 여러분들도 쉽게 동의할 것이다. 그러나 까다로운 부분이 있다. 어떻게 다양성을 구축하냐는 것이다.채용 전문 회사인 엔텔로(Entelo)는 이를 위한 기회를 제공했다. 엔텔로의 CEO 존 비슈케는 자신의 회사가 HR 관리자, 담당자, 리쿠르터 등이 다양하면서도 불충분하게 반영된(소수계) 인력군에서 인재를 파악해 유치하고 채용할 수 있도록 도움을 주는 서비스를 제공하고 있다고 강조했다. 다양한 인력 갖춘 균형잡힌 채용비슈케는 "다양성과 균형성을 갖춘 인력군을 창출하고, 여성과 다양한 인종,..

원문 : http://www.itworld.co.kr/news/87793지난해 하반기부터 거론되어 온 사물인터넷은 모바일, 소셜, 빅데이터, 클라우드와 함께 '디지털 비즈니스'를 이끄는 기술이 됐다.이 5대 기술은 전 산업군에 영향을 미치는 것뿐만 아니라 사회, 경제, 정치, 문화, 미디어 등 모든 영역에 걸쳐 변화를 가져오고 있으며, 또한 사람에게는 소비 구조나 일하는 방식, 여가를 즐기는 행태 또한 바꾸고 있다.모바일, 소셜, 빅데이터, 클라우드는 오래 전부터 회자되어 온 화두이지만 그 의미만큼은 아직도 애매모호한 점이 남아있다. 하지만 사물인터넷은 등장한 지 얼마 되지 않았지만, 그 의미만큼은 명확하다.사물인터넷이라는 이름은 가장 어리지만 그 태생은 모바일 등 다른 4개의 기술보다도 더 오래됐으며,..

이번 글에서는 "Data for R in a nutshell"이 제공하는 2006년도 출산 데이터와 다양한 시각화 도구를 이용하여 데이터 분석 및 마이닝을 연습해 보도록 한다."R in a nutshell"의 데이터를 불러오는 방법에 대한 자세한 내용은 패키지와 데이터 기본을 참고하도록 한다. [준비할 사항]데이터의 시각화를 위해 lattice 라이브러리와 nuteshell 라이브러리를 불러온다. lattice 라이브러리는 barchart, histogram, density plot 등 다양한 데이터 시각화 도구를 제공하며, nuteshell 라이브러리는 데이터 분석 연습을 위한 샘플을 제공한다.> library(lattice) > library(nutshell)데이터는 2006년도 출산 샘플 데이터인 ..

'데이터 마이닝'이란 금을 채광(Gold Mining)하는 것처럼, 획득된 데이터로부터 의미있거나 가치있는 정보를 발견하는 일을 의미한다. 이러한 활동을 통해 기업들은 소비자들이 원하는 것이 무엇인지 발견하여 마켓팅으로 활용하거나 새로운 비즈니스의 기회를 모색할 수도 있다. 또한 각종 정부기관들은 재난사고를 미리 예측하여 사고를 예방하거나 여론을 파악하는데 활용할 수도 있다.데이터 마이닝은 데이터로부터 가치를 발견한다는 점에서 단순 데이터 분석과는 차별된다. 단, 데이터 마이닝을 위해서는 획득할 수 있는 데이터의 범주가 다양할 수록 좋다. 왜냐하면 데이터의 범주가 다양할 수록 다양한 의미를 발견할 가능성이 높아지기 때문이다.데이터에 대해 많은 의존을 하는 스포츠 중의 하나인 야구를 예로 들어보자. 우리나..

Written by Geol Choi | May. 1, 2014 데이터소스의 유형에는 다음과 같은 것들이 있다:오픈 데이터텍스트 파일Excel 파일SQL 데이터베이스NoSQL 데이터베이스멀티미디어웹 스크랩 이들에 대해 각각 자세히 알아보도록 하자. 데이터 소스데이터소스란, 데이터를 추출 및 저장과 관련된 모든 기술을 설명하는데 사용되는 용어이다. 가공되지 않은 데이터의 근원지는 관찰 로그(observation logs), 센서, 트랜잭션(transaction), 사용자 행동 등이다. 데이터소스와 데이터세트에 대해 언급할 것인데, 데이터세트란 데이터의 집합체를 의미하며 일반적으로 행과 열을 갖는 테이블형으로 정리된다. [그림 1.] 데이터세트의 예 (출처: http://commons.wikimedia.or..

흔히 빅 데이터란 데이터의 크기가 매우 커서 기존의 방법으로는 처리할 수 없는 것을 의미한다. 즉, 데이터가 일반적인 데이터베이스로는 처리가 불가능하능한 데이터를 의미한다. 데이터가 매우 빠르게 증가할 때 이 데이터를 바탕으로 숨겨진 패턴을 발견하고 알려지지 않은 상관관계를 찾아내거나 또는 다른 유용한 정보를 알아내려면 빅 데이터 분석법이 필요하다. 빅 데이터의 핵심 특징은 다음과 같다:크기 (Volume): 데이터의 방대한 양.다양성 (Variety): 구조형(또는 정형), 비구조형(또는 비정형) 및 다중구조형 데이터 등의 다양한 유형.속도 (Velocity): 데이터는 신속하게 분석되어야 함.위와 같은 특징들이 모두 영어 V로 시작되므로 3Vs라고도 하며, 이에 덧붙여 데이터의 신뢰성(Veracity..

데이터 시각화의 목적은 그래프 등의 형태로 표현하여 숫자 또는 문자만으로는 발견하기 어려운 패턴 또는 관계를 한 눈에 발견하기 쉽도록 하는 것이다. 시각화는 일단 멋있어 보이는 것도 중요하며 무엇보다 의미를 찾아낼 수 있도록 하여 의사결정에 기여를 해야한다. 결국 데이터를 시각화한다는 것은, 복잡한 데이터 세트(그것이 크든 작든)의 설명을 보다 효과적으로 전달하기 위함이다.데이타 시각화의 종류는 매우 다양한데 대표적인 것으로는, 바 차트 (Bar Chart) 파이 차트 (Pie Chart) 히트 맵 (Hear Map) 빈도 워들 (Frequency Wordle) 등이 있다. 이외에도 보다 다양한 종류가 있는데 이에 대해서는 데이터 시각화에 대한 내용을 다룰 때 소개하도록 하겠다. 데이터 시각화 기법을 중..

원문 : http://www.ciokorea.com/news/16525이어지는 경기 불황, 그리고 그로 인한 고용시장의 침체는 앞으로도 한동안 구직자들을 힘겹게 할 전망이다. 그러나 이런 시장 상황 속에서도 ‘떠오르는' 직종은 있다. 데이터 과학자가 바로 그것이다. 데이터 과학자는 CNN을 통해서도 2012년 최고의 신규 유망 직종으로, 또 하버드 비즈니스 리뷰(Harvard Business Review)를 통해서도 21세기의 ‘가장 매력적인' 직종으로 선정된 바 있다.데이터 과학자에 대한 이러한 평가는 빅 데이터 및 애널리틱스와 관련한 시장 전반의 관심과 관련 있다. 쏟아지고 있는 막대한 정보들 속에서 의미 있는 요소를 발굴하고 그것을 비즈니스 가치로 연결하는 것이 바로 데이터 과학자의 역할이기 때문이..

원문 : http://www.ciokorea.com/news/20650받아들일 용의가 있고, 올바르게 활용할 수만 있다면 빅 데이터가 주는 장점은 거부하기 힘든 수준이다. 빅 데이터를 이용해 기업을 변화시킬 수 있고, 고객에게 좀 더 다가갈 수 있으며, 시장에서의 타깃 효율성과 이윤을 증가시킬 수도 있다. 이미 손 안에 있는 데이터를, 단지 알아보고 활용할 안목이 없어서 아깝게 버리고 있는 것이다. 데이터 과학자의 역할은 여기서 중요해진다. 데이터 과학자는 현재 시장에서 가장 ‘뜨거운’ 직종 중 하나다. 데이터 과학자에 적합한 인재는 숫자에 능숙하고, 기업 상황에 능하며 통계 컴퓨팅 언어를 마치 숙련된 피아니스트가 연주를 하듯 다룰 수 있는 사람일 것이다. 하지만 이런 이상적 인재상을 실제 직무 기술서와..