Scientific Computing & Data Science

[정규분포에 대한 확률 계산]만약 X~N(μ,σ2)이라면이다. 확률 변수 Z는 확률 변수 X의 표준화이다. 확률과 누적분포 함수 간의 관계는 다음과 같다: [Proof]

[Def] 정규분포 정규 또는 가우스 분포 함수는 상태 공간 -∞≤x≤∞의 연속 분포 함수이며, 다음과 같은 확률 밀도 함수로 정의된다:정규 분포의 확률 밀도 함수는 파라미터 μ와 σ2를 가지며 기대값과 분산은 각각및이며 확률 변수 X가 μ와 σ2를 갖는 정규 분포를 따른다고 할 때 다음과 같이 표현한다: [Def] 표준정규분포평균 μ=0과 σ2=1을 갖는 정규분포를 특별히 표준정규분포라하고 확률 밀도 함수 φ(x)는 상태 공간 -∞≤x≤∞에 대하여이다. 누적 확률 분포 함수는이며, 항상 Φ(x)=0.5이다. 정규분포 함수의 대칭으로 인해가 성립된다.

이번 글에서는 빅데이터 생태계를 구성하는 구성원들 및 그들의 역할에 대해 알아본다. 고객: 고객없는 서비스는 존재할 수 없다. 고객은 당신의 제품을 사용하고, 당신의 버튼과 링크를 클릭하거나 완전히 무시할 수도 있다. 당신의 일은 지속적으로 고객들에 대한 가치를 창출하는 것이다. 고객들의 관심이 곧 당신 제품의 성공 여부를 결정한다.비즈니스 개발자: 비즈니스 개발자는 웹페이지 제작이나 프로모션을 통해 초기에 고객을 유치하는 활동을 한다. 시장에서 제품으로부터 고객을 끌어모으는 역할이다.마케터: 마케터는 고객들이 어떠한 시장을 추구하도록 할 것인가를 결정한다. 또한 빅데이터 제품에 대한 초기 이미지를 결정한다.제품 관리자: 제품의 비전과 방향에 대한 고객의 의견을 수집하는 활동에 대한 각 역할을 담당한다...

빅데이터 관련 기본 용어 정리 [확장성] 어떠한 요구에 대한 응답으로서의 오퍼레이션을 확장 또는 축소할 수 있는 "단순화"를 의미한다. 빅데이터에 있어 확장성은 어플리케이션에서 부하 및 복잡성이 선형으로 증가함에 따라 비용 및 복잡성 측면에서 아선형(선형에 못 미치는 형태를 의미)으로 성장하는 소프트웨어 도구 및 기술을 의미한다. [NoSQL] "Not only SQL"에 대한 약어이며 획일적 관계형 데이터베이스의 정형 구조 데이터를 저장하는 한계를 극복하기 위해 설계된 쿼리 언어이다. 단순히 온라인 트랜잭션(OLTP, Online Transaction Processing)를 최적화하거나 온라인 분석 처리(OLAP, Online Analytic Processing)를 확장하는 도구의 의미를 넘어 도구 분..

Written by cinema4d이번 글에서는 기타 쿼리 연산자들에 대해 알아 보도록 하겠다. 다음과 같은 도큐먼트를 생성한다. for(i = 1; i < 101; i++) { var myRandom = Math.floor(100 * Math.random()); if(myRandom < 21) db.myCollection.insert({name: "dog", random: Math.floor(Math.random()*100)}) else if(myRandom < 41) db.myCollection.insert({name: "cat", random: Math.floor(Math.random()*100)}) else if(myRandom < 61) db.myCollection.insert({name: "p..

최근 좋은 이유로 빅데이터 분석에 대한 대대적 광고를 하고 있다. 이러한 움직임에 동참하려면 빅데이터 분석의 특성을 알아야 한다. 기업들은 빅데이터에 무언가 있다는 것을 인지하고 있지만 최근까지도 데이터 수집에 어려움을 겪어 왔다. 분석에 대한 이러한 추세는 빅데이터 분석 움직임의 흥미로운 양상이다.기업들은 그들이 수집하고 있는 데이터에 접근하고 분석할 수 있다는 것과 이 데이터로부터 통찰력을 얻을 수 있다는 사실에 많은 기대를 하고 있지만, 효율적으로 관리되고 분석된 적은 없다. 이는 방대한 양의 다양한 데이터를 시각화하는 것일 수도 있고, 실시간으로 스트리밍을 분석하는 것일 수도 있다. 어떤 면에서는 진화적이며 어떤 면에서는 혁명적이다.그래서 당신의 기업이 빅데이터 분석을 추진 시 어떤 차별화를 갖는..

Written by cinema4d앞서 "Cursors"를 다룬 글에서 도큐먼트 쿼리 시 "skip"을 통해 도큐먼트를 건너뛰는 것에 대해 알아본 바 있다. "skip" 연산자는 작은 규모의 도큐먼트에 대해서는 적당할 지 모르지만, 도큐먼트 규모가 커지면 건너뛰는 속도가 현저히 떨어진다. 이것은 MongoDB만의 문제가 아닌 거의 모든 데이터베이스에서 공통적으로 나타나는 현상이다.따라서, 큰 규모의 도큐먼트에서 도큐먼트를 건너뛰어 검색 결과를 받아올 때 "skip"은 반드시 피해야 한다. skip 없이 결과 표시하기다음과 같이 1 ~ 30000까지의 "cnt" 값을 가지는 도큐먼트를 생성해 보자: for(i=1; i var myCursor = db.count.find({cnt: {$gt: 20000}})..

Written by cinema4d이번 글에서는 "Cursors"에 대해 알아보도록 하겠다."Cursors"는 MongoDB가 find() 메써드를 통해 넘겨주는 결과의 집합이다.Cursors를 통해 클라이언트-사이드에서는 반복 처리 등 다양한 처리가 가능하다. DB가 넘겨주는 결과수를 제한할 수 있으며, 결과의 개수를 건너뛸 수 있으며, key 조합을 통해 결과를 분류하거나 검색 방향을 제어할 수 있는 등 기타 강력한 오퍼레이션을 구성할 수 있다.우선 간단한 예로써, 각 도큐먼트에 1에서 100까지의 정수를 저장하는 JavaScript를 작성해 보자: for(i=1; i myCursor { "_id" : ObjectId("52f381cc2d911bccacf21963"), "cnt" : 1 } { "_i..

빅데이터는 의료 서비스의 품질을 높이는데 있어 유전자 연구 분야에서 고급 영상의학 분야에 이르는 헬스케어 산업에 대해 중대한 의미를 갖는다. 각 영역에서 심도있는 연구 진행을 위해 빅데이터 분석이 활용되는 반면, 빅데이터 활용에 대한 혜택은 이 정보를 의약에 적용하는 것이다.충분한 데이터가 획득되면, 이 데이터는 실용적이고도 생명을 구하기 위한 적절한 타이밍에 적용될 수 있다. 메디컬 클리니션(직접 환자를 상대하는 의사)들과 연구자들은 스트리밍 데이터를 활용하여 병원 셋팅에 대한 의사결정 속도를 높이며 환자를 위한 헬스케어 서비스 품질을 향상시키고 있다.환자 진료 시, 의사들은 실험실 테스트 결과, 임상병리학 리포트, X-레이, 디지털 이미지 등을 포함한 방대한 양의 시간-민감 데이터(시간에 따라 실시간..

에너지 사용 절감, 신재생 에너지 탐구, 에너지 효율 개선 등은 환경을 보호하고 지속가능한 경제성장을 위한 빅데이터의 중요한 목표이다. 이러한 목표 달성을 위해 실시간으로 방대한 양의 실시간 데이터를 모니터링하고 분석하고 있다.큰 규모의 많은 기관들은 현재 그리고 미래에 있어 우리가 필요로하는 에너지 자원 확보를 확신하기 위한 다양한 측정을 하고 있다. 바람 터빈, 태양열 팜(farm), 파력 에너지와 같은 새로운 에너지 원천은 계속되는 화석 연료의 가격 상승과 고갈에 대한 현실적인 옵션이 되고 있다.이 기관들은 에너지를 생성하고 저장하며 수요에 대한 공급 균형을 맞추기 위한 양질의 실시간 정보를 필요로한다. 이들은 스트리밍 데이터를 활용하여 에너지 수요를 측정하고 모니터링하여 에너지 요구사항에 대한 이..