Scientific Computing & Data Science

기존의 분석 도구와 분석 기술들도 빅데이터 활용에 있어 매우 효과적이다. 그러나, 이 도구들의 일부인 알고리즘 또한 방대한 양의 잠재적으로 실시간 데이터와 이질적 데이터와 연동되어야 한다. 그리고 분석 도구를 제공하는 벤더들은 이들의 알고리즘이 분산 실행에도 적합한지 확인할 필요가 있다. 이러한 복잡성 때문에 새로운 종류의 도구들이 빅데이터 활용을 위해 등장할 것으로 기대된다.다음은 이러한 종류의 레퍼런스 아키텍쳐에 대하여 세 가지 종류로 분류한 것이다. 의사결정자들은 사업을 전개하는데 있어 이 아키텍쳐들을 독립적으로 혹은 복합적으로 사용할 수 있다.리포팅 도구 및 대쉬보드: 이들은 다양한 소스로부터 얻은 정보들을 사용자가 쉽게 알아볼 수 있도록 하는 표현용 도구들이다. 전통적 데이터 세계에서 대들보 역..

당신의 사업은 다양한 형태의 데이터를 가지고 무엇을 하고 있는가? 빅데이터는 해결하고자 하는 문제에 따라 전통적 또는 최신의 다양한 데이터 분석 방법을 요구한다. 어떤 분석 방법은 전통적 데이터 웨어하우스를 사용할 것이고, 어떤 분석 방법은 최신의 예측 모델을 포함한 분석 방법을 이용할 것이다. 비즈니스의 미래를 성공적으로 계획하려면 많은 다양한 방법을 이용하여 빅데이터를 전체적으로 다룰 수 있어야 한다. 빅데이터를 위한 분석적 데이터 웨어하우스와 데이터 시장활용할 수 있는 방대한 양의 데이터를 분류한 후, 기업은 특정 패턴을 띄고 있는 데이터의 부분집합을 가지고 비즈니스에 활용 가능한 형태로 만드는 것이 실용적이다. 이러한 데이터 웨어하우스 및 데이터 시장은 압축, 멀티레벨 분류, 초병렬 처리 아키텍쳐..

기업들이 고객과 협력사들을 만족시키는데 있어 차이를 만들 수 있는 빅데이터는 더이상 과거의 데이터베이스에서 해답을 찾기 어렵다. 이전과는 다른 소스로부터의 비정형 구조 데이터의 가치는 분명해졌다. 비즈니스 리더들은 고객 지원 시스템의 텍스트 형태든 소셜 미디어 사이트든간에 비정형 구조의 정보를 신속히 분석하지 못한다면 중요한 통찰력을 얻는 것은 불가능하다. 빅데이터는 어떻게 기업들을 민첩하게 그리고 이윤을 창출할 수 있게 하는가기업들이 방대한 양의 데이터를 분서하고 이에 대한 결과를 실시간으로 고객의 의사 결정 프로세스와 비교할 수 있다면, 사업은 어마어마한 이윤을 창출할 것이다. 따라서, 비즈니스 프로세스의 일부로서 비정형 및 정형 구조의 데이터를 결합하여 활용하면 비즈니스 역량을 민첩하고 재빠르게, ..

Written by cinema4d임베드 된 도큐먼트에 대한 쿼리 방법은 크게 두 가지로 요약할 수 있다: (1) 전체 도큐먼트에 대한 쿼리(2) 개별 키(key)/값(value) 쌍을 이용한 쿼리 상기 두 가지 방법에 대해 각각 알아보도록 하겠다. 1. 전체 도큐먼트에 대한 쿼리우선, 다음 명령을 통해 임베드 된 도큐먼트를 준비한다.> db.users.drop() true > db.users.insert({name: {first: "john", last: "kennedy"}}) > db.users.findOne() { "_id" : ObjectId("52edaa32f97299c19188c2dc"), "name" : { "first" : "john", "last" : "kennedy" } }"name" ..

by Geol Choi | February 1, 2014이번 글에서는 "$slice" 오퍼레이터에 대해 알아 보도록 하겠다. "$slice"는 특정 key의 array 아이템들 중 일부분을 추출하는데 사용된다.가령, 다음과 같이 아이템이 있다고 하자.> db.food.drop() > db.food.insert({"fruit": ["apple", "orange", "plum", "banana", "peach", "mango", "pineapple", "grape", "melon", "water melon", "cherry", "kiwi", "strawberry"]}) "fruit" 중 처음 다섯개의 아이템을 추출하려면 다음과 같은 입력한다.> db.food.find( {}, { fruit: { $slice..

by Geol Choi | February 1, 2014"$size"는 array의 크기를 이용하여 검색할 수 있는 오퍼레이터이다.우선 다음과 같이 아이템을 준비하자.> db.food.drop() > db.food.insert({"_id" : 1, "fruit" : ["apple", "banana", "peach"]}) > db.food.insert({"_id" : 2, "fruit" : ["apple", "kumquat", "orange"]}) > db.food.insert({"_id" : 3, "fruit" : ["cherry", "banana", "apple"]}) > db.food.insert({"_id" : 4, "fruit" : ["pineapple", "plum"]}) ID 1, 2, 3에 ..

by Geol Choi | February 2, 2014우선 다음과 같이 "food" 컬렉션에 array 타입으로 도큐먼트를 추가한다:> db.food.drop() > db.food.insert({"_id" : 1, "fruit" : ["apple", "banana", "peach"]}) > db.food.insert({"_id" : 2, "fruit" : ["apple", "kumquat", "orange"]}) > db.food.insert({"_id" : 3, "fruit" : ["cherry", "banana", "apple"]}) "apple"과 "banana" 모두를 포함하는 도큐먼트는 ID 1과 ID 3이다. "$all"을 통해 이 두 가지 모두를 포함하는 도큐먼트를 검색해 보자.> db.f..

by Geol Choi | February 1, 2014find 쿼리는 지금까지 다룬 내용에서 숱하게 많이 사용된 쿼리이다.가장 기본적인 쿼리 중 하나로서 검색 조건에 대해 좀 더 알아보도록 하겠다.우선 다음과 같이 데이터를 준비하자.> db.customers.drop() > db.customers.insert({name: "gchoi", age: 37, birthday: "08/22", email: "cinema4dr12@gmail.com"}) > db.customers.insert({name: "jmpark", age: 25, birthday: "04/02", email: "raspberry@gmail.com"}) > db.customers.insert({name: "tjkwak", age: 32, ..

by Geol Choi | January 31, 2014이번 글에서는 findAndModify를 통해 도큐먼트를 업데이트하는 방법에 대해 알아보겠다. findAndModify는 제시된 기준의 아이템을 찾고 업데이트하는 일련의 과정을 한 번에 처리할 수 있는 편리한 명령이다. findAndModify 명령어의 인자에는 sort 기능이 있는데 지금까지 다룬 적이 없으므로 이 부분을 우선 이해하고 넘어가도록 하겠다.다음과 같이 데이터를 준비하자.db.tasks.insert({todo : "shopping", status : "READY", priority : "4"}) db.tasks.insert({todo : "studying Mongo DB", status : "READY", priority : "1"})..

누적 분포 함수(Cumulative Distribution Function; CDF) \(F(x)\)를 갖는 연속 확률 변수 \(\mathbf{X}\)의 중간값(Median)은 다음 관계식이 만족되는 \(\mathbf{X}\)를 의미한다. \(F(X) = 0.5\) (1) 일반적으로 이산 문제에서 값을 얻는 것이 불가능하다.중간값은 값의 분포가 한쪽으로 치우쳐지는가를 판단할 수 있는 지표가 되기도 하나, 다음과 같은 결함을 가지고 있다.(2) 값을 찾는 것이 번거롭다. 만약 중간값과 기대값이 일치하는 경우 이를 "대칭 확률 변수"라고 한다.