Scientific Computing & Data Science

원문: http://www.itworld.co.kr/blog/?l=http://dellpowersolution.co.kr/205721705"델 코리아가 한국 빅 데이터 시장에 본격 진출합니다. 업계 선도적 파트너사들과 함께 구축한 델 빅 데이터 스타터 기트는 확장성, 사용 용이성과 함께 적은 인프라 비용으로 빅 데이터를 이용할 수 있게 해줍니다." 델 코리아는 서울 리츠 칼튼 호텔에서 '빅데이터 솔루션 데이'를 개최하고 인텔, 레볼루션 애널리틱스(RA), 클릭테크의 솔루션으로 결합한 빅 데이터 어플라이언스를 발표했습니다다. 델 코리아 김경덕 대표는 빅 데이터가 이머징 트렌드에서 IT 업계의 주류 기술로 자리 잡았다고 진단하며, 이번 '빅 데이터 스타터 키트'가 저렴한 비용에 빅 데이터를 활용할 수 있게 ..

원문: http://www.ciokorea.com/news/20112마이크로소프트가 클라우드, 엔터프라이즈 소셜, 빅 데이터, 기계 학습, 모바일 기능을 결합해 오피스 365 플랫폼에서 제공하는 계획에 대해 발표했다. 회사의 제프 데퍼 부사장은 셰어포인트 컨퍼런스에서의 키노트 연설에서 이러한 구상을 공개했다. 그는 기업 내 최종 사용자, 개발자 커뮤니티, IT 전문가를 대상으로 한다고 설명했다. 그에 따르면 먼저 최종 사용자를 겨냥해 마이크로소프트는 소셜 기능을 통합한 새로운 '개인화된' 경험을 선보였다. 이를 통해 정보 탐색, 유사 프로젝트 경험 인력 등을 쉽고 빠르게 발견할 수 있다는 설명이다. 오피스 그래프(Office Graph)라는 이름의 이번 새로운 오피스 365 인텔리전스 패브릭은, 사용자에..

빅데이터(Big Data)는 흔히 ‘미래를 읽는 열쇠’로 불린다. 인터넷 등에 쌓여 있는 방대한 정보를 잘 분석하면 과거 사실뿐 아니라 미래에 유행할 질병·사회현상까지 예측할 수 있어서다. 이 때문에 최근에는 기업뿐 아니라 정부까지 나서 빅데이터를 활용하기 위한 다양한 아이디어를 내놓고 있다. 하지만 학계 일부에선 이런 ‘장밋빛 환상’을 경계하는 목소리도 나오고 있다. ▷여기를 누르시면 크게 보실 수 있습니다 미국 휴스턴대 라이언 케네디(정치학) 교수 연구팀은 13일 세계 최대 인터넷 기업인 구글의 대표적인 빅데이터 서비스를 도마에 올렸다. 그는 구글독감트렌드(Google Flu Trends·GFT)가 최근 2년간 실제와 다른 예측치를 내놨다고 꼬집었다. 그는 “‘빅데이터 혁명’ 대신 빅데이터와 스몰데이..

대부분의 빅데이터 관리 전문가들은 구조형 데이터베이스 관리 환경에서 메타데이터 관리의 필요성에 익숙하다. 이러한 데이터 소스들은 강한 유형적 틀을 지니며(예를 들어, 첫번째 10글자는 이름으로 정하는 것 등) 메타데이터 운영을 위해 설계되었다. 메타데이터가 비정형 구조 데이터에서는 존재하지 않는 것으로 가정하는 경우가 많은데 사실은 그렇지가 않다.통상적으로 어떤 유형의 데이터든지 구조를 발견할 수 있다. 비디오의 예를 들어 보자. 특정 비디오 콘텐츠를 정확히 알 수는 없지만 비디오 기반 데이터의 포맷 내에 많은 구조가 존재한다. 만약 비정형 구조의 텍스트를 본다면 영어로 씌어져 있는 단어들을 볼 수 있으며 적합한 툴을 적용한다면 텍스트를 해석할 수 있다.비정형 구조 데이터로부터 이러한 내포적 메타데이터로..

by Geol Choi | March 10, 2014이번 글에서는 "데이터베이스 간 참조"에 대하여 알아보도록 하겠다. 도큐먼트를 참조하는 방법은 크게 두 가지가 있는데, 하나는 수동 참조(Manual Reference)이며 다른 하나는 "DBRef"를 사용하는 것이다.그러면 각각에 대하여 자세히 알아보자. 수동 참조수동 참조 방식은 참조할 다른 도큐먼트의 아이디(ObjectID)를 도큐먼트 내 하나의 키(key)로 저장하는 것이다. 즉, 키 값인 아이디를 통해 참조할 도큐먼트를 얻어내어 해당 도큐먼트의 다른 데이터를 얻는 방식이다. 이 방법은 간단한 방식으로 대부분의 경우에서 사용된다.'백문이 불여일견'이므로 예제(예제는 MongoDB의 공식문서를 참조하여 작성하였다)를 통해 자세히 설명하도록 하겠다...

by Geol Choi | March 6, 2014이번 글에서는 비교적 큰 사이즈의 바이너리 파일을 저장하는 메커니즘인 "GridFS"에 대해 알아보도록 하겠다.예를 들어, 블로그 같이 글을 작성하는 사이트를 만들어 DB와 연동할 경우 텍스트만이 아닌 이미지, 또는 특정 어플리케이션의 바이너리를 저장해야 할 것이다. MongoDB는 이러한 바이너리 파일을 효율적으로 관리하는 메커니즘을 제공하는데 이것이 GridFS이다. GridFS를 사용해서 파일을 저장해야 하는 이유를 들면 다음과 같다:GridFS는 MongoDB를 위해 설정한 "replication"이나 "autosharding"을 활용한다. 이는 패일오버(Failover) 및 스케일아웃(Scale-out)을 하는데 매우 쉽다. (Replicatio..

by Geol Choi | March 6, 2014지금까지는 데이터가 추가되거나 삭제될 때 저장 사이즈가 동적으로 변하는 컬렉션에 대하여 다루어 왔다.MongoDB는 저장 사이즈가 고정된 다른 유형의 컬렉션을 제공하는데, 이 컬렉션을 "Capped Collections"라고 한다. 가장 큰 특징 중 하나는 "aging-out"으로써, Capped collections는 도큐먼트가 저장되는 순서 그대로 저장되며 만약 저장소("queue"라고 함)가 가득 차 있을 경우 가장 오래된 도큐먼트를 삭제하고 새로운 도큐먼트를 저장한다.따라서, 저장소의 모양을 다음과 같이 형상화 할 수 있다:[그림 1] 새로운 도큐먼트는 queue의 맨 마지막에 들어온다.[그림 2] queue가 가득차게 되면, 최고(最古)의 도큐먼..

ETL 도구들은 하나의 빅데이터 환경에서 얻은 데이터를 다른 데이터 환경으로 이전하는데 필요한 세 가지 중요한 기능(추출(Extract), 변형(Transform), 불러내기(Load))을 결합한다. 전통적으로, ETL은 데이터 웨어하우스 환경에서 일괄 처리 작업을 하는데 사용되어 왔다. 데이터 웨어하우스는 사업자들에게 사업 중점에 관계되는 데이트에 대한 분석과 리포트를 강화하는 수단을 제공한다. ETL 도구들은 데이터 웨어하우스가 요구하는 포맷으로 데이터를 변형한다.변형은 사실상 데이터가 데이터 웨어하우스에 로딩되기 전 중간 위치에서 실행된다. IBM, Informatica, Pervasive, Talend, Pentaho를 포함한 많은 소프트웨어 벤더들이 ETL 소프트웨어 툴을 제공한다.ETL은 다음..

여러분은 빅데이터 분석에 대한 뉘앙스를 깨닫게 될 것이다. 이것은 정말 작은 데이터에 관한 것이다. 이것이 혼란스러워 보일 수도 있고 전체적인 전제에 위반되는 것처럼 보일 수도 있지만, 작은 데이터는 빅데이터 분석의 결과이다. 전혀 새로운 개념도 아니며, 오랜동안 데이터 분석을 해왔던 사람들에게 익숙하지 않은 것도 아니다. 전체 작업 공간은 커지고 있으나, 해답은 "작다"는 것 어딘가에 존재한다.전통적 데이터 분석은 고객 정보, 제품 정보, 거래 정보, 원격측정 데이터 등등으로 가득찬 데이터베이스로 시작했다. 그 당시에도 가용 데이터는 차거 넘쳐서 효율적인 데이터 분석이 불가능했다. 시스템, 네트워크, 소프트웨어는 스케일을 논할 만한 성능이나 용량이 되지 않았다. 산업 곳곳에서 보다 작은 데이터 세트를 ..

Written by cinema4d이번 글에서는 DB 명령어에 대해 알아보도록 하겠다. 그 동안 앞선 글에서 다루지 않았던 수많은 MongoDB의 명령어에는 어떤 것들이 있는지 훑어볼 수 있는 기회가 될 것이다.(물론 하나하나 다루지는 않는다. 여기서 다루지 않은 명령어들은 MongoDB의 공식 도큐먼트 페이지를 통해 알아보기 바란다.) 우선 "db.listCommands()" 명령을 통해 DB 명령어의 리스트를 살펴보도록 하자:> db.listCommands() _isSelf: no-lock { _isSelf : 1 } INTERNAL ONLY _migrateClone: no-lock adminOnly slaveOk internal - should not be called directly _recvCh..