Scientific Computing & Data Science

원문: http://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=105&oid=138&aid=0002015299[디지털데일리 심재석기자] 흔히 빅데이터를 정의할 때 3V라고 말한다. 데이터의 크기(Volume), 데이터가 새로 생성되는 속도(Velocity), 데이터 종류의 다양성(Variety) 면에서 기존과 차원이 다른 모습을 보여주는 것을 빅데이터라고 부른다. 이같은 빅데이터는 사물인터넷(IoT) 시대에 더욱 중요한 요소가 됐다. 센서네트워크에서 쏟아지는 실시간 데이터들은 V3의 특징을 고스란히 갖고 있기 때문이다. 이 데이터들은 끊임없이 빠른 속도로 쏟아지고, 기존의 정형 데이터의 모습을 갖추고 있지 않다. 데이터의 크기는 두말할 나위도 없다. 실제로..

by Geol Choi | February 9, 2014이전 글에서 약속하였듯이 이번 글에서는 "$snapshot" 쿼리 옵션에 대해서 자세히 알아보도록 하겠다. 일반적인 데이터 처리 절차는 다음과 같다: MongoDB로부터 도큐먼트를 불러오고, 이에 대한 처리를 한 후, 처리에 대한 결과를 다시 저장한다. 예를 들어 다음 코드를 살펴보자.cursor = db.myCollection.find(); while (cursor.hasNext()) { var doc = cursor.next(); doc = process(doc); db.myCollection.save(doc); } 위의 코드 내용을 살펴보면,변수 "cursor"에 myCollection으로부터 검색된 도큐먼트를 저장하였으며,"cursor"에 저..

빅데이터 관련 기본 용어 정리 [확장성] 어떠한 요구에 대한 응답으로서의 오퍼레이션을 확장 또는 축소할 수 있는 "단순화"를 의미한다. 빅데이터에 있어 확장성은 어플리케이션에서 부하 및 복잡성이 선형으로 증가함에 따라 비용 및 복잡성 측면에서 아선형(선형에 못 미치는 형태를 의미)으로 성장하는 소프트웨어 도구 및 기술을 의미한다. [NoSQL] "Not only SQL"에 대한 약어이며 획일적 관계형 데이터베이스의 정형 구조 데이터를 저장하는 한계를 극복하기 위해 설계된 쿼리 언어이다. 단순히 온라인 트랜잭션(OLTP, Online Transaction Processing)를 최적화하거나 온라인 분석 처리(OLAP, Online Analytic Processing)를 확장하는 도구의 의미를 넘어 도구 분..

Written by cinema4d이번 글에서는 기타 쿼리 연산자들에 대해 알아 보도록 하겠다. 다음과 같은 도큐먼트를 생성한다. for(i = 1; i < 101; i++) { var myRandom = Math.floor(100 * Math.random()); if(myRandom < 21) db.myCollection.insert({name: "dog", random: Math.floor(Math.random()*100)}) else if(myRandom < 41) db.myCollection.insert({name: "cat", random: Math.floor(Math.random()*100)}) else if(myRandom < 61) db.myCollection.insert({name: "p..

최근 좋은 이유로 빅데이터 분석에 대한 대대적 광고를 하고 있다. 이러한 움직임에 동참하려면 빅데이터 분석의 특성을 알아야 한다. 기업들은 빅데이터에 무언가 있다는 것을 인지하고 있지만 최근까지도 데이터 수집에 어려움을 겪어 왔다. 분석에 대한 이러한 추세는 빅데이터 분석 움직임의 흥미로운 양상이다.기업들은 그들이 수집하고 있는 데이터에 접근하고 분석할 수 있다는 것과 이 데이터로부터 통찰력을 얻을 수 있다는 사실에 많은 기대를 하고 있지만, 효율적으로 관리되고 분석된 적은 없다. 이는 방대한 양의 다양한 데이터를 시각화하는 것일 수도 있고, 실시간으로 스트리밍을 분석하는 것일 수도 있다. 어떤 면에서는 진화적이며 어떤 면에서는 혁명적이다.그래서 당신의 기업이 빅데이터 분석을 추진 시 어떤 차별화를 갖는..

Written by cinema4d앞서 "Cursors"를 다룬 글에서 도큐먼트 쿼리 시 "skip"을 통해 도큐먼트를 건너뛰는 것에 대해 알아본 바 있다. "skip" 연산자는 작은 규모의 도큐먼트에 대해서는 적당할 지 모르지만, 도큐먼트 규모가 커지면 건너뛰는 속도가 현저히 떨어진다. 이것은 MongoDB만의 문제가 아닌 거의 모든 데이터베이스에서 공통적으로 나타나는 현상이다.따라서, 큰 규모의 도큐먼트에서 도큐먼트를 건너뛰어 검색 결과를 받아올 때 "skip"은 반드시 피해야 한다. skip 없이 결과 표시하기다음과 같이 1 ~ 30000까지의 "cnt" 값을 가지는 도큐먼트를 생성해 보자: for(i=1; i var myCursor = db.count.find({cnt: {$gt: 20000}})..

Written by cinema4d이번 글에서는 "Cursors"에 대해 알아보도록 하겠다."Cursors"는 MongoDB가 find() 메써드를 통해 넘겨주는 결과의 집합이다.Cursors를 통해 클라이언트-사이드에서는 반복 처리 등 다양한 처리가 가능하다. DB가 넘겨주는 결과수를 제한할 수 있으며, 결과의 개수를 건너뛸 수 있으며, key 조합을 통해 결과를 분류하거나 검색 방향을 제어할 수 있는 등 기타 강력한 오퍼레이션을 구성할 수 있다.우선 간단한 예로써, 각 도큐먼트에 1에서 100까지의 정수를 저장하는 JavaScript를 작성해 보자: for(i=1; i myCursor { "_id" : ObjectId("52f381cc2d911bccacf21963"), "cnt" : 1 } { "_i..

에너지 사용 절감, 신재생 에너지 탐구, 에너지 효율 개선 등은 환경을 보호하고 지속가능한 경제성장을 위한 빅데이터의 중요한 목표이다. 이러한 목표 달성을 위해 실시간으로 방대한 양의 실시간 데이터를 모니터링하고 분석하고 있다.큰 규모의 많은 기관들은 현재 그리고 미래에 있어 우리가 필요로하는 에너지 자원 확보를 확신하기 위한 다양한 측정을 하고 있다. 바람 터빈, 태양열 팜(farm), 파력 에너지와 같은 새로운 에너지 원천은 계속되는 화석 연료의 가격 상승과 고갈에 대한 현실적인 옵션이 되고 있다.이 기관들은 에너지를 생성하고 저장하며 수요에 대한 공급 균형을 맞추기 위한 양질의 실시간 정보를 필요로한다. 이들은 스트리밍 데이터를 활용하여 에너지 수요를 측정하고 모니터링하여 에너지 요구사항에 대한 이..

거의 모든 도시가 세금의 형태, 건물과 다리의 센서, 교통 상황 모니터링, 위치 데이터, 범죄 활동 관련 데이터 등의 빅데이터를 사용할 수 있는 역량을 갖추고 있다. 도시를 더욱 안전하게, 보다 효율적으로, 더욱 살기 좋은 곳으로 또는 더욱 일하기 좋은 곳으로 만드는 실행 가능한 정책을 만들기 위해서는 다양한 소스로부터 방대한 양의 데이터를 수집하고 분석해야 한다.많은 도시 공무원들은 공공 정책 향상에 관한 연구에 수반되는 대부분의 데이터(년도별 인구 데이터, 경찰 기록, 도시 세금 기록 등)를 수집해 오고 있으며, 분석하는 기간은 역사적으로 볼 때 몇달 또는 몇년이 소요되었다. 경찰서와 같은 하나의 특정 공무 기관 내에서 조차 각각의 분할된 지구가 따로따로 데이터를 수집하며 도시 및 주변 커뮤니티가 이..

Written by cinema4d이번 글에서는 "$where" 오퍼레이터에 대해 알아보도록 하겠다."$where" JavaScript의 표현 또는 JavaScript 함수 전체를 쿼리에 전달할 수 있는 오퍼레이터이다.설명을 위해 우선 다음 데이터를 준비하자. db.grade.insert({student_id : "01", korean : "A", english: "B", maths : "A+", science : "A" }) db.grade.insert({student_id : "02", korean : "B", english: "B", maths : "A+", science : "B" }) db.grade.insert({student_id : "03", korean : "C", english: "A+..