Scientific Computing & Data Science

거의 모든 도시가 세금의 형태, 건물과 다리의 센서, 교통 상황 모니터링, 위치 데이터, 범죄 활동 관련 데이터 등의 빅데이터를 사용할 수 있는 역량을 갖추고 있다. 도시를 더욱 안전하게, 보다 효율적으로, 더욱 살기 좋은 곳으로 또는 더욱 일하기 좋은 곳으로 만드는 실행 가능한 정책을 만들기 위해서는 다양한 소스로부터 방대한 양의 데이터를 수집하고 분석해야 한다.많은 도시 공무원들은 공공 정책 향상에 관한 연구에 수반되는 대부분의 데이터(년도별 인구 데이터, 경찰 기록, 도시 세금 기록 등)를 수집해 오고 있으며, 분석하는 기간은 역사적으로 볼 때 몇달 또는 몇년이 소요되었다. 경찰서와 같은 하나의 특정 공무 기관 내에서 조차 각각의 분할된 지구가 따로따로 데이터를 수집하며 도시 및 주변 커뮤니티가 이..

Written by cinema4d이번 글에서는 "$where" 오퍼레이터에 대해 알아보도록 하겠다."$where" JavaScript의 표현 또는 JavaScript 함수 전체를 쿼리에 전달할 수 있는 오퍼레이터이다.설명을 위해 우선 다음 데이터를 준비하자. db.grade.insert({student_id : "01", korean : "A", english: "B", maths : "A+", science : "A" }) db.grade.insert({student_id : "02", korean : "B", english: "B", maths : "A+", science : "B" }) db.grade.insert({student_id : "03", korean : "C", english: "A+..

기존의 분석 도구와 분석 기술들도 빅데이터 활용에 있어 매우 효과적이다. 그러나, 이 도구들의 일부인 알고리즘 또한 방대한 양의 잠재적으로 실시간 데이터와 이질적 데이터와 연동되어야 한다. 그리고 분석 도구를 제공하는 벤더들은 이들의 알고리즘이 분산 실행에도 적합한지 확인할 필요가 있다. 이러한 복잡성 때문에 새로운 종류의 도구들이 빅데이터 활용을 위해 등장할 것으로 기대된다.다음은 이러한 종류의 레퍼런스 아키텍쳐에 대하여 세 가지 종류로 분류한 것이다. 의사결정자들은 사업을 전개하는데 있어 이 아키텍쳐들을 독립적으로 혹은 복합적으로 사용할 수 있다.리포팅 도구 및 대쉬보드: 이들은 다양한 소스로부터 얻은 정보들을 사용자가 쉽게 알아볼 수 있도록 하는 표현용 도구들이다. 전통적 데이터 세계에서 대들보 역..

당신의 사업은 다양한 형태의 데이터를 가지고 무엇을 하고 있는가? 빅데이터는 해결하고자 하는 문제에 따라 전통적 또는 최신의 다양한 데이터 분석 방법을 요구한다. 어떤 분석 방법은 전통적 데이터 웨어하우스를 사용할 것이고, 어떤 분석 방법은 최신의 예측 모델을 포함한 분석 방법을 이용할 것이다. 비즈니스의 미래를 성공적으로 계획하려면 많은 다양한 방법을 이용하여 빅데이터를 전체적으로 다룰 수 있어야 한다. 빅데이터를 위한 분석적 데이터 웨어하우스와 데이터 시장활용할 수 있는 방대한 양의 데이터를 분류한 후, 기업은 특정 패턴을 띄고 있는 데이터의 부분집합을 가지고 비즈니스에 활용 가능한 형태로 만드는 것이 실용적이다. 이러한 데이터 웨어하우스 및 데이터 시장은 압축, 멀티레벨 분류, 초병렬 처리 아키텍쳐..

기업들이 고객과 협력사들을 만족시키는데 있어 차이를 만들 수 있는 빅데이터는 더이상 과거의 데이터베이스에서 해답을 찾기 어렵다. 이전과는 다른 소스로부터의 비정형 구조 데이터의 가치는 분명해졌다. 비즈니스 리더들은 고객 지원 시스템의 텍스트 형태든 소셜 미디어 사이트든간에 비정형 구조의 정보를 신속히 분석하지 못한다면 중요한 통찰력을 얻는 것은 불가능하다. 빅데이터는 어떻게 기업들을 민첩하게 그리고 이윤을 창출할 수 있게 하는가기업들이 방대한 양의 데이터를 분서하고 이에 대한 결과를 실시간으로 고객의 의사 결정 프로세스와 비교할 수 있다면, 사업은 어마어마한 이윤을 창출할 것이다. 따라서, 비즈니스 프로세스의 일부로서 비정형 및 정형 구조의 데이터를 결합하여 활용하면 비즈니스 역량을 민첩하고 재빠르게, ..

베타 분산 (Beta Distribution)Definition파라미터 \(a > 0\) 및 \(b > 0\)를 갖는 베타 분산은 \(0 \leq x \leq 1\)에 대하여 확률 밀도 함수 \(\displaystyle{ f(x) = \frac{\Gamma(a+b)}{\Gamma(a) \Gamma(b)}x^{a-1}(1-x)^{b-1}}\) 이며 그 외에서는 \(f(x) = 0\) 이다. 기대값과 분산기대값은 \( \displaystyle{ \mathrm{E}(\mathbf{X}) = \frac{a}{a+b} } \) 이며, 분산은 \( \mathrm{Var}(\mathbf{X}) = \displaystyle{\frac{ab}{(a+b)^2 (a+b+1)}} \) 이다.

[Def] 와이불 분산 (Weibull Distribution) 파라미터 a > 0 및 λ > 0를 갖는 Weibull 분산은 x ≥ 0에 대하여 확률 밀도 함수 를 가지며 x < 0 에 대해서는이며, 누적 분포 함수는 이며, 기대값과 분산은 각각 및 이다.λ는 스케일 파라미터, a는 형상 파라미터라고 한다.

감마분산[Definition] 감마 함수 (Gamma Function)감마 함수는 다음과 정의되며: \( \Gamma(k) = \displaystyle{ \int_{0}^{\infty}{x^{k-1}e^{-x}} }dx \) 특별한 경우에 있어, \(\Gamma(1) = 1\) 및 \(\Gamma(1/2) = \sqrt{\pi}\)입니다. 일반적으로, \(k > 1\)1에 대하여 \( \Gamma(k) = (k-1)\Gamma(k-1) \) 이며, 만약 n이 양의 정수일 경우, \( \Gamma(n) = (n-1)! \)이 성립됩니다.[Definition] 감마 분산 (Gamma Distribution)파라미터 \(k > 0\) 및 \(\lambda > 0\)를 갖는 감마 분산은 \(x \ge 0\)에 ..

지수 분산 (Exponential Distribution)Definition파라미터 \(\lambda > 0\)을 갖는 지수 분산의 확률 밀도 함수는 \(x \ge 0\)에 대하여 \( f(x) = \lambda e^{-\lambda x} \) 이며, \(x < 0\)에 대하여 \(f(x) = 0\) 입니다. 누적 분포 함수는 \(x \ge 0\)에 대하여 \( F(X) = \displaystyle{\int_{0}^{x}{f(y)}dy = 1 - e^{-\lambda x}} \) 이며 기대값과 분산은 각각 \( \mathrm{E}(X) = \displaystyle{\frac{1}{\lambda}} \) 및 \( \mathrm{Var}(x) = \displaystyle{\frac{1}{\lambda^2}}..

균일 분산(Uniform Distribution)Definition다음을 만족하는 a와 b사이의 일정한 확률 밀도 함수를 갖는 확률 변수 X는 \( f(x) = \displaystyle{\frac{1}{b-a}} \) for \(a \le x \le b \) \( f(x) = 0 \) elsewhere 균일분산을 갖는다고 하며, 다음과 같이 표현합니다: \( X \sim U(a,b) \) 이에 대한 누적 분포 함수는 \( F(x)= \displaystyle{\frac{x-a}{b-a}} \) 이며, 기대값과 분산은 각각 \( E(X) = \displaystyle{\frac{a+b}{2}} \) 및 \( Var(X) = \displaystyle{\frac{(b-a)^2}{12}} \) 입니다.Proof\(..