Scientific Computing & Data Science

by Geol Choi | February 16, 2014MongoDB는 복잡한 데이터 분석을 위해 다양한 맵리듀스(Map Reduce) 등 다양한 집합(Aggregation) 도구를 제공한다. countcount 연산자는 컬렉션 내의 도큐먼트 개수를 파악할 수 있는 메써드이다.다음과 같이 "people" 컬렉션에 3개의 도큐먼트를 추가한 후,> db.people.insert({username: "user1"}); > db.people.insert({username: "user2"}); > db.people.insert({username: "user3"}); count() 메써드를 이용하여 개수를 구하면 다음과 같다:> db.people.find().pretty() { "_id" : ObjectId("5..

원문: http://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=105&oid=030&aid=0002258886삼성전자가 자사 제품의 고객 불만을 빅데이터 기술로 사전 탐지해 선제 대응한다. 사용자 게시판 등에 올라온 고객 불만이 큰 이슈로 확대되기 전에 미리 예측해 대응하겠다는 전략이다. 단순 검색엔진을 도입하는 수준에서 벗어나 대규모 `빅데이터` 플랫폼을 구축해 고객 불만에 선제 대응하는 것은 삼성전자가 국내 처음이다. 10일 업계에 따르면 삼성전자가 최신 빅데이터 기술을 결합해 `빅데이터 기반 고객소리(VOC) 통합관리시스템`을 개발하고 있다. 다음 달 중순 가동을 목표로 현재 개발 막바지 단계에 돌입한 것으로 확인됐다. 삼성전자는 주요 인터넷 사이트나..

원문: http://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=105&oid=138&aid=0001990457 [디지털데일리 심재석기자] 스트븐 브롭스트 테라데이타 최고기술책임자(CTO)는 13일 서울 삼성동 코엑스인터콘티넨탈 호텔에서 열린 ‘테라데이타 유니버스 서울 2012’ 행사에서 두 차례에 걸쳐 열정적으로 기조연설을 했다. 때로는 맨말로 무대에 오르기도 한다는 그는 테라데이터에 대한 자부심이 넘쳐 보였다. 그는 테라데이타 CTO이자, 데이터 웨어하우징 분야의 세계적인 권위자로 평가받는 인물이다. 첫 연설에서 그는 ‘비즈니스 인텔리전스에서 절대 간과할 수 없는 네 가지 트렌드’라는 주제로 ▲센서기술 ▲비즈니스 인텔리전스의 일상화(pervasive BI..

원문: http://www.kookje.co.kr/news2011/asp/newsbody.asp?code=1700&key=20140212.22026195108최근 금융기관의 개인정보 유출로 온 나라가 공포에 휩싸였다. 개인에 관한 데이터가 그 개인은 물론 사회와 국가를 위협하는 엄청난 무기가 될 수 있음을 실감하기에 충분했다. 관련 회사의 대표가 줄사퇴하고 피해자들이 집단소송을 제기하는 등 여진이 이어지고 있다. 현대는 데이터 시대이다. 데이터를 어떻게 활용하는가에 따라 개인 삶의 질을 높일 수도 있고, 치명적인 피해를 줄 수도 있다. 불행히도 우리는 피해를 먼저 체감했지만 방대한 데이터를 통해 얻을 수 있는 이점까지 간과할 수는 없다. 이는 얼마 전 정부가 발표한 '정부 3.0 추진 기본계획'과도 맥을..

원문: http://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=105&oid=138&aid=0002015299[디지털데일리 심재석기자] 흔히 빅데이터를 정의할 때 3V라고 말한다. 데이터의 크기(Volume), 데이터가 새로 생성되는 속도(Velocity), 데이터 종류의 다양성(Variety) 면에서 기존과 차원이 다른 모습을 보여주는 것을 빅데이터라고 부른다. 이같은 빅데이터는 사물인터넷(IoT) 시대에 더욱 중요한 요소가 됐다. 센서네트워크에서 쏟아지는 실시간 데이터들은 V3의 특징을 고스란히 갖고 있기 때문이다. 이 데이터들은 끊임없이 빠른 속도로 쏟아지고, 기존의 정형 데이터의 모습을 갖추고 있지 않다. 데이터의 크기는 두말할 나위도 없다. 실제로..

by Geol Choi | February 9, 2014이전 글에서 약속하였듯이 이번 글에서는 "$snapshot" 쿼리 옵션에 대해서 자세히 알아보도록 하겠다. 일반적인 데이터 처리 절차는 다음과 같다: MongoDB로부터 도큐먼트를 불러오고, 이에 대한 처리를 한 후, 처리에 대한 결과를 다시 저장한다. 예를 들어 다음 코드를 살펴보자.cursor = db.myCollection.find(); while (cursor.hasNext()) { var doc = cursor.next(); doc = process(doc); db.myCollection.save(doc); } 위의 코드 내용을 살펴보면,변수 "cursor"에 myCollection으로부터 검색된 도큐먼트를 저장하였으며,"cursor"에 저..

빅데이터 관련 기본 용어 정리 [확장성] 어떠한 요구에 대한 응답으로서의 오퍼레이션을 확장 또는 축소할 수 있는 "단순화"를 의미한다. 빅데이터에 있어 확장성은 어플리케이션에서 부하 및 복잡성이 선형으로 증가함에 따라 비용 및 복잡성 측면에서 아선형(선형에 못 미치는 형태를 의미)으로 성장하는 소프트웨어 도구 및 기술을 의미한다. [NoSQL] "Not only SQL"에 대한 약어이며 획일적 관계형 데이터베이스의 정형 구조 데이터를 저장하는 한계를 극복하기 위해 설계된 쿼리 언어이다. 단순히 온라인 트랜잭션(OLTP, Online Transaction Processing)를 최적화하거나 온라인 분석 처리(OLAP, Online Analytic Processing)를 확장하는 도구의 의미를 넘어 도구 분..

Written by cinema4d이번 글에서는 기타 쿼리 연산자들에 대해 알아 보도록 하겠다. 다음과 같은 도큐먼트를 생성한다. for(i = 1; i < 101; i++) { var myRandom = Math.floor(100 * Math.random()); if(myRandom < 21) db.myCollection.insert({name: "dog", random: Math.floor(Math.random()*100)}) else if(myRandom < 41) db.myCollection.insert({name: "cat", random: Math.floor(Math.random()*100)}) else if(myRandom < 61) db.myCollection.insert({name: "p..

최근 좋은 이유로 빅데이터 분석에 대한 대대적 광고를 하고 있다. 이러한 움직임에 동참하려면 빅데이터 분석의 특성을 알아야 한다. 기업들은 빅데이터에 무언가 있다는 것을 인지하고 있지만 최근까지도 데이터 수집에 어려움을 겪어 왔다. 분석에 대한 이러한 추세는 빅데이터 분석 움직임의 흥미로운 양상이다.기업들은 그들이 수집하고 있는 데이터에 접근하고 분석할 수 있다는 것과 이 데이터로부터 통찰력을 얻을 수 있다는 사실에 많은 기대를 하고 있지만, 효율적으로 관리되고 분석된 적은 없다. 이는 방대한 양의 다양한 데이터를 시각화하는 것일 수도 있고, 실시간으로 스트리밍을 분석하는 것일 수도 있다. 어떤 면에서는 진화적이며 어떤 면에서는 혁명적이다.그래서 당신의 기업이 빅데이터 분석을 추진 시 어떤 차별화를 갖는..

Written by cinema4d앞서 "Cursors"를 다룬 글에서 도큐먼트 쿼리 시 "skip"을 통해 도큐먼트를 건너뛰는 것에 대해 알아본 바 있다. "skip" 연산자는 작은 규모의 도큐먼트에 대해서는 적당할 지 모르지만, 도큐먼트 규모가 커지면 건너뛰는 속도가 현저히 떨어진다. 이것은 MongoDB만의 문제가 아닌 거의 모든 데이터베이스에서 공통적으로 나타나는 현상이다.따라서, 큰 규모의 도큐먼트에서 도큐먼트를 건너뛰어 검색 결과를 받아올 때 "skip"은 반드시 피해야 한다. skip 없이 결과 표시하기다음과 같이 1 ~ 30000까지의 "cnt" 값을 가지는 도큐먼트를 생성해 보자: for(i=1; i var myCursor = db.count.find({cnt: {$gt: 20000}})..