Scientific Computing & Data Science

by Geol Choi | April 9, 2014마스터 또는 슬레이브 노드 모두에 대하여 다음과 같이 명령을 입력해 보자: > show dbs admin (empty) local 0.078GB DB 리스트를 살펴보면 최소한 admin과 local이 존재할 것이다. local은 로컬 데이터베이스로써 마스터 노드와 슬레이브 노드에 모두 존재하며 복제와 관련된 상태 정보가 저장되어 있으며, 로컬이라는 이름대로 로컬 노드에만 저장되며 복제되지 않는다.마스터 노드(포트 번호 3000이라고 가정)와 슬레이브 노드(포트 번호 3001이라고 가정)에 대한 각각의 local DB의 내용을 살펴보자:마스터 노드:> use local switched to db local > db.getCollectionNames() [ ..

by Geol Choi | April 9, 2014슬레이브 노드가 시작될 때 가장 먼저하는 일은 마스터 노드의 데이터 전체를 동기화하는 것이다. 슬레이브 노드는 마스터 노드의 모든 도큐먼트를 복제하는데 이것은 엄청 부담이 되는 연산이다. 초기 동기화가 완료되면 슬레이브 노드는 마스터 노드의 oplog를 쿼리하고 연산을 수행하여 최신 상태로 데이터를 유지한다. 만약 슬레이브 노드의 연산이 마스터 노드에서 수행되고 있는 연산에서 매우 뒤쳐져 있는 상황이라면 슬레이브 노드의 동기화는 실패하게 될 것이다. 즉, 동기화에 실패한 슬레이브 노드는 마스터 노드에서 수행되고 있는 연산 속도를 더 이상 따라잡지 못하게 되는 상황이 발생하게 된다.동기화에서 이탈하게 되면 슬레이브 노드는 복제를 멈추고 마스터 노드의 데이터..

by Geol Choi | March 10, 2014이번 글에서는 "데이터베이스 간 참조"에 대하여 알아보도록 하겠다. 도큐먼트를 참조하는 방법은 크게 두 가지가 있는데, 하나는 수동 참조(Manual Reference)이며 다른 하나는 "DBRef"를 사용하는 것이다.그러면 각각에 대하여 자세히 알아보자. 수동 참조수동 참조 방식은 참조할 다른 도큐먼트의 아이디(ObjectID)를 도큐먼트 내 하나의 키(key)로 저장하는 것이다. 즉, 키 값인 아이디를 통해 참조할 도큐먼트를 얻어내어 해당 도큐먼트의 다른 데이터를 얻는 방식이다. 이 방법은 간단한 방식으로 대부분의 경우에서 사용된다.'백문이 불여일견'이므로 예제(예제는 MongoDB의 공식문서를 참조하여 작성하였다)를 통해 자세히 설명하도록 하겠다...

원문: http://www.itworld.co.kr/t/54649/빅%20데이터/86155빅데이터와 기존에 있던 DW, BI, 통계 분석과는 무엇이 다른가. 미래읽기 장동인 대표는 최근 자신의 페이스북을 통해 빅데이터와 DW, BI, 통계 분석과 다른 점이 무엇인가라는 화두를 던졌다. 장동인 대표는 현장에서 강의를 하다보면 자주 듣는 질문 가운데 하나가 바로 '빅데이터가 지금까지 있었던 DW, BI, 통계분석과 무엇이 다른가'라는 것이라고 말했다. 장 대표는 "해답은 아주 간단하지만 많은 사람이 헷갈리는 것 가운데 하나"라며, "이들의 다른 점을 모른다면 다음 단계에서는 혼돈의 연속이 될 것"이라고 설명했다. 장 대표의 설명에 따르면, 지금까지의 DW, BI, 통계분석의 가장 기본은 RDBMS이다. 소위..

빅데이터 관련 기본 용어 정리 [확장성] 어떠한 요구에 대한 응답으로서의 오퍼레이션을 확장 또는 축소할 수 있는 "단순화"를 의미한다. 빅데이터에 있어 확장성은 어플리케이션에서 부하 및 복잡성이 선형으로 증가함에 따라 비용 및 복잡성 측면에서 아선형(선형에 못 미치는 형태를 의미)으로 성장하는 소프트웨어 도구 및 기술을 의미한다. [NoSQL] "Not only SQL"에 대한 약어이며 획일적 관계형 데이터베이스의 정형 구조 데이터를 저장하는 한계를 극복하기 위해 설계된 쿼리 언어이다. 단순히 온라인 트랜잭션(OLTP, Online Transaction Processing)를 최적화하거나 온라인 분석 처리(OLAP, Online Analytic Processing)를 확장하는 도구의 의미를 넘어 도구 분..

Written by cinema4d우선 다음과 같이 데이터를 준비하도록 하자:// user DB "foobar" use foobar // define user1 var user1 = {"username" : "gchoi"} user1.age = 37 user1.relationships = {"friends" : 100, "enemies" : 1} // define user2 var user2 = {"username" : "tjkwak"} user3.age = 31 user2.relationships = {"friends" : 50, "enemies" : 5} // define user3 var user3 = {"username" : "jmpark"} user3.age = 25 user3.relations..