Scientific Computing & Data Science

흔히 빅 데이터란 데이터의 크기가 매우 커서 기존의 방법으로는 처리할 수 없는 것을 의미한다. 즉, 데이터가 일반적인 데이터베이스로는 처리가 불가능하능한 데이터를 의미한다. 데이터가 매우 빠르게 증가할 때 이 데이터를 바탕으로 숨겨진 패턴을 발견하고 알려지지 않은 상관관계를 찾아내거나 또는 다른 유용한 정보를 알아내려면 빅 데이터 분석법이 필요하다. 빅 데이터의 핵심 특징은 다음과 같다:크기 (Volume): 데이터의 방대한 양.다양성 (Variety): 구조형(또는 정형), 비구조형(또는 비정형) 및 다중구조형 데이터 등의 다양한 유형.속도 (Velocity): 데이터는 신속하게 분석되어야 함.위와 같은 특징들이 모두 영어 V로 시작되므로 3Vs라고도 하며, 이에 덧붙여 데이터의 신뢰성(Veracity..

데이터 시각화의 목적은 그래프 등의 형태로 표현하여 숫자 또는 문자만으로는 발견하기 어려운 패턴 또는 관계를 한 눈에 발견하기 쉽도록 하는 것이다. 시각화는 일단 멋있어 보이는 것도 중요하며 무엇보다 의미를 찾아낼 수 있도록 하여 의사결정에 기여를 해야한다. 결국 데이터를 시각화한다는 것은, 복잡한 데이터 세트(그것이 크든 작든)의 설명을 보다 효과적으로 전달하기 위함이다.데이타 시각화의 종류는 매우 다양한데 대표적인 것으로는, 바 차트 (Bar Chart) 파이 차트 (Pie Chart) 히트 맵 (Hear Map) 빈도 워들 (Frequency Wordle) 등이 있다. 이외에도 보다 다양한 종류가 있는데 이에 대해서는 데이터 시각화에 대한 내용을 다룰 때 소개하도록 하겠다. 데이터 시각화 기법을 중..

원문 : http://www.ciokorea.com/news/16525이어지는 경기 불황, 그리고 그로 인한 고용시장의 침체는 앞으로도 한동안 구직자들을 힘겹게 할 전망이다. 그러나 이런 시장 상황 속에서도 ‘떠오르는' 직종은 있다. 데이터 과학자가 바로 그것이다. 데이터 과학자는 CNN을 통해서도 2012년 최고의 신규 유망 직종으로, 또 하버드 비즈니스 리뷰(Harvard Business Review)를 통해서도 21세기의 ‘가장 매력적인' 직종으로 선정된 바 있다.데이터 과학자에 대한 이러한 평가는 빅 데이터 및 애널리틱스와 관련한 시장 전반의 관심과 관련 있다. 쏟아지고 있는 막대한 정보들 속에서 의미 있는 요소를 발굴하고 그것을 비즈니스 가치로 연결하는 것이 바로 데이터 과학자의 역할이기 때문이..

원문 : http://www.ciokorea.com/news/20650받아들일 용의가 있고, 올바르게 활용할 수만 있다면 빅 데이터가 주는 장점은 거부하기 힘든 수준이다. 빅 데이터를 이용해 기업을 변화시킬 수 있고, 고객에게 좀 더 다가갈 수 있으며, 시장에서의 타깃 효율성과 이윤을 증가시킬 수도 있다. 이미 손 안에 있는 데이터를, 단지 알아보고 활용할 안목이 없어서 아깝게 버리고 있는 것이다. 데이터 과학자의 역할은 여기서 중요해진다. 데이터 과학자는 현재 시장에서 가장 ‘뜨거운’ 직종 중 하나다. 데이터 과학자에 적합한 인재는 숫자에 능숙하고, 기업 상황에 능하며 통계 컴퓨팅 언어를 마치 숙련된 피아니스트가 연주를 하듯 다룰 수 있는 사람일 것이다. 하지만 이런 이상적 인재상을 실제 직무 기술서와..

원문 : http://www.itworld.co.kr/news/86750SAS가 IT, 현업, 분석 관리자 및 임원 578명을 대상으로 조사한 결과, IT가 종종 분석의 이네이블러가 아닌, 장애요소로 보는 경향이 있는 것으로 파악됐다.기업의 38%는 자사 분석 인력 대부분이 외부의 중앙집중식 분석 그룹에 상주해 있다고 답했으며 21%는 해당 그룹이 주로 분석 전략을 결정했다고 말했다.응답자의 대부분인 95%는 분석의 혜택을 보고 있지만 실제로 그 가치를 측정할 수 있다고 말한 임원들은 31%에 불과했다."개별 부서가 데이터를 수집하고 일부 유사한 분석 전략을 함께 수행하는 부서별 애널리스트들을 사용하고 있다"라고 SAS의 글로벌 마케팅 컨설턴트 토니 해밀턴은 지적했다. "그러나 이러한 접근방법은 단일 고..

우선 정량적 데이터와 정성적 데이터에 대한 정의를 내려보자: 정량적 데이터: 숫자로 표현되는 수치 데이터.정성적 데이터: 자연언어에 의한 서술로 표현되는 범주형 데이터.다음 그림을 통해 이들에 대한 차이점을 보다 명확하게 이해해 보자: [그림 1.] 정량적 데이터와 정성적 데이터의 특성에 대한 차이점. 정량적 분석은 수치에 대한 분석을 포함한다. 분석 유형은 측정 수준에 따라 다르며, 측정에 대한 유형은 다음과 같이 크게 네 가지로 구분할 수 있다:명사형: 데이터의 논리적 순서를 정의할 수 없으며 데이터 분류에 사용된다.순서형: 데이터는 논리적 순서를 가지며 값들 간의 차이가 일정하지 않다.간격형: 데이터는 연속적이며 논리적 순서에 의존한다. 값들 간의 차이가 일정하며 차이가 0인 경우는 배제한다.비율형..

by Geol Choi | April 10, 2014MongoDB에서 인증을 통해 마스터와 슬레이브 노드 간 복제를 하고자 할 경우에는 슬레이브 노드가 마스터 노드의 데이터에 접근할 수 있는 권한을 설정할 수 있는 방법이 있다. 접근을 하고자 하는 마스터 노드의 db에 username과 password를 지정하여 user를 추가하고 슬레이브 노드에도 동일한 username과 password를 갖는 user를 추가한다.user를 추가하는 방법은 createUser() 메써드를 사용하는 것이다. 예를 들어, test라는 db에 다음과 같이 user를 추가해 보자:> use test switched to db test > db.createUser( ... { ... user: "cinema4d", ... pw..

원문 : http://www.ciokorea.com/news/16525이어지는 경기 불황, 그리고 그로 인한 고용시장의 침체는 앞으로도 한동안 구직자들을 힘겹게 할 전망이다. 그러나 이런 시장 상황 속에서도 ‘떠오르는' 직종은 있다. 데이터 과학자가 바로 그것이다. 데이터 과학자는 CNN을 통해서도 2012년 최고의 신규 유망 직종으로, 또 하버드 비즈니스 리뷰(Harvard Business Review)를 통해서도 21세기의 ‘가장 매력적인' 직종으로 선정된 바 있다. 데이터 과학자에 대한 이러한 평가는 빅 데이터 및 애널리틱스와 관련한 시장 전반의 관심과 관련 있다. 쏟아지고 있는 막대한 정보들 속에서 의미 있는 요소를 발굴하고 그것을 비즈니스 가치로 연결하는 것이 바로 데이터 과학자의 역할이기 때문..

원문 : http://www.ciokorea.com/news/18570UC 버클리(University of California at Berkeley)는 아이스쿨(iSchool: School of Information)이라는 새로운 석사 과정을 개설했다. 이 프로그램은 빅 데이터를 이용해 효율성을 개선하고, 새 수익원을 창출하고, 시장 경쟁력을 강화하기 희망하는 직종에 일자리를 얻고 싶어하는 학생들에게 이를 위한 지식과 툴, 교육을 제공하는데 목표를 둔 것이다. 행방불명 상태의 데이터 과학자(Data Scientists) 신설된 정보 및 데이터 과학 석사(MIDS) 프로그램은 UC버클리의 첫 온라인 학위 과정이다. UC버클리 정보대학원(School of Information)의 애나리 섹서니언 학장은 이 ..

원문 : http://www.ciokorea.com/news/17659"아마존은 '이 상품을 구매한 이들이 또한 구매한 것'에 대한 정보를 분석해 노출함으로써 1분기 만에 29%의 매출 성장을 이뤄냈다." "넷플릭스는 사용자 평점을 기반으로 시청자의 선호도에 부합하는 영화 콘텐츠를 노출했다. 그 결과 시청자의 75%가 추천 콘텐츠를 시청하고 있다." "교통 정보 업체 웨이즈는 사용자 교통 데이터를 분석해 제공함으로써 18개월 만에 4,000만 명의 사용자를 확보했다." 링크드인의 시니어 데이터 과학자 비탈리 고든이 전한 빅 데이터 성공 사례들이다. 빅 데이터에 대한 실용적 고민이 증가하고 있는 가운데, 한국 IDG가 주최한 '비즈니스 임팩트 & 빅 데이터 2013' 컨퍼런스가 7월 10일 역삼동 리츠 칼..