Scientific Computing & Data Science

원문: http://www.itworld.co.kr/news/86608자사에서 막대한 데이터를 다루고 있다면 하둡을 반드시 고려해봐야 한다. 한때 구글과 야후!와 같은 글로벌 인터넷 기업의 전유물이던 가장 인기있고 잘 알려진 빅데이터 관리 시스템이 이제 다른 기업에까지 확산되고 있다.거기에는 두 가지 이유가 있다. 첫째, 기업이 관리해야 될 데이터가 훨씬 많아졌고, 하둡은 기존의 정형 데이터와 새로운 비정형 데이터를 혼합하는데 탁월한 플랫폼이라는 점이다. 둘째, 수많은 개발업체가 하둡 지원과 서비스를 제공하는데 뛰어들어 기업 입장에서 선택의 폭이 늘어났다는 것이다.포레스터 2013년 4분기 소프트웨어 조사 보고서에 따르면, 대부분의 기업들은 이미 보유한 데이터 가운데 단 12%만을 분석하고 있으며, 나머..

원문 : http://www.ciokorea.com/news/20312사물인터넷(IOT)을 사용하는 기기는 빅 데이터를 만들어 내는데, 이 빅 데이터의 실시간 처리 및 분석 때문에 데이터센터 업체들의 부담이 커질 것이라는 전망이 나왔다.가트너의 최근 보고서 ‘사물인터넷이 데이터센터에 미치는 영향’에 따르면, 2020년 IoT 연결 기기 대수가 260억 대에 달하며 IoT 서비스 업체들이 3,000억 달러의 매출을 일으킬 것으로 예상됐다.그러나 가트너US의 애널리스트인 조 스코루파는 이러한 IoT 기기 대수 증가가 데이터센터 기술 업체에게 IoT 데이터의 양과 구조로 인한 더 많은 과제를 안겨줄 것이라고 주장했다."기존 데이터센터 광대역 네트워크(WAN) 링크는 사람과 앱의 상호작용으로 만들어지는 중간 대..

원문 : http://www.ciokorea.com/news/20292 미국의 일류 IT 기업 CEO들이은 빅 데이터 및 지능형 통합 시스템의 미래에 대해 우려를 표시했다. 이들은 의학에서부터 교육, 교통에 이르기까지 다양한 분야의 사회 문제들을 해결하는 데 이들 신기술이 큰 도움을 줄 것이라면서도, 정치권의 정책 결정자들이 걸림돌 수 있다고 지적했다. 델, IBM, 제록스 등의 임원들이 이번 주 테크놀로지 CEO 협회(Technology CEO Council)의 지원 아래 수도 워싱턴에 모였다. 이들은 데이터 경제가 위험에 처했다고 주장하며, 그 원인으로 보안 및 사생활 침해에 대한 우려, 보호주의 정책을 지목했다. CEO 협회 대표이자 제록스 회장인 우르슬라 번즈는 “지금 우리 앞에 놓인 가장 큰 장..

원문 : http://www.ciokorea.com/news/20271애널리틱스와 빅 데이터는 다양한 산업 영역에서 새로운 가치를 창출할 수 있는 도구다. 그러나 그 가운데서도 특히 두각을 나타내는 분야가 있다. 바로 스포츠 산업이다. 득점 기록에서 계약 서명, 부상 예방까지, 애널리틱스는 코치와 선수들에서 팀 사무실 직원들까지, 스포츠 산업의 모든 영역에 가치를 전달할 수 있다. 최근 보스톤에서는 스포츠 코치 및 선수진과 여타 시장의 선구적 전문가들이 한데 모여 스포츠 산업에서 애널리틱스 및 빅 데이터가 수행할 수 있는 역할에 관해 논의하는 2014 MIT 슬로건 스포츠 애널리틱스 컨퍼런스(MIT Sloan Sports Analytics Conference)가 진행됐다. 여기 컨퍼런스 현장에서 소개된,..

빅데이터의 현재 상태에 신속하게 반응하려면 유동 데이터가 필요하다. 신용카드 거래를 완료하거나 이메일을 보내려면, 데이터가 어느 한 위치에서 다른 위치로 전송되어야 한다. 데이터가 데이터 센터나 클라우드의 데이터베이스에 저장되어 있다면 그 데이터는 유동성이 없다. 반면, 데이터가 하나의 위치에서 다른 위치로 전송될 때 이 데이터는 유동적이다.비즈니스 인사이트를 얻기 위해 거의 실시간에 가깝게 방대한 양의 데이터를 처리해야 하는 기업들은 데이터가 계속적으로 흐르고 있는 동안에도 데이터를 정비하고 있을 가능성이 높다. 유동 데이터와 방대한 양의 데이터는 손에 손을 잡고 있다. 연속적인 스트림의 방대한 양의 데이터에 대한 많은 실세계 예시들이 현재 사용되고 있다:센서들은 고도로 민간한 의료 장비와 연결되어 성..

빅데이터 워크플로우를 이해하려면, 먼저 프로세스가 무엇인지 그리고 이것이 데이터-집약적 환경에서 워크플로우와 어떤 관련이 있는지를 이해해야 한다. 프로세스는 기업이나 기관들에서 의사결정 및 업무목표 규정에 유용한 고수준의 전체 구조로 설계된다.이와는 대조적으로, 워크플로우는 업무에 대한 개별적인 방향성을 두고 프로세스 보다 더욱 특정의 데이터를 요구한다. 프로세스는 프로세스의 전반적 목표에 상응하는 하나 이상의 워크플로우로 구성된다.방법론적 시각에서 볼 때 빅데이터 워크플로우는 표준 워크플로우와 유사하다. 사실 어느 워크플로우든 업무 목표를 달성하기 위해서는 각 단계에서 데이터가 필요하다. 헬스케어 상황에서의 워크플로우를 예로 들어보자.가장 기초적인 워크플로우는 "채혈" 프로세스이다. 채혈은 전반적인 진..

원문: http://blog.naver.com/97jkkim?Redirect=Log&logNo=20205913188 Ⅰ.서론 1. 연구목적2. 빅 데이터의 개념 Ⅱ.본론 1. 빅 데이터가 몰고 온 새로운 물결1) 빅 데이터 이용의 사례들 2. 빅 데이터와 사회변화1) 비용의 절감2) 컴퓨터 프로그램의 발달3) 빅 데이터의 등장으로 인한 학자의 역할 변화 3. 빅 데이터의 리스크1) 사생활의 침해2) 예측과 범죄3) 기만하는 데이터 4. 빅 데이터의 리스크 해결1) 정보제공 동의에서 책임으로2) 범죄 예측과 그 처벌에 대한 통제3) 빅 데이터 전문가의 등장4) 빅 데이터 “왕”의 통제 Ⅲ.결론 1. 빅 데이터로 인한 사회 및 경제의 변화1) 빅 데이터로 인한 사회 및 경제의 변화 Ⅰ.서론 2009년 새로운..

스트리밍 데이터와 CEP는 기업들이 빅데이터를 활용하는데 있어 엄청난 영향력을 지니고 있다. 스트리밍 데이터를 활용하여, 기업들은 즉각적인 인사이트를 얻기 위해 실시간으로 이러한 데이터를 처리하고 분석할 수 있다. 과거에 인식하지 못하고 지나쳤던 핵심 데이터를 지속적으로 분석하기 위해 종종 두 개의 절차가 요구된다.CEP 접근방법을 통해 기업들은 데이터를 스트리밍하고 비즈니스 프로세스 엔진을 활용하여 비즈니즈 규칙을 이러한 스트리밍 데이터 분석 결과에 적용한다. 새로운 혁신과 새로운 행동으로 이끄는 인사이트를 얻을 수 있는 기회들은 스트리밍 데이터 접근방법의 기반 가치이다.그러면 CEP와 스트리밍 데이터 솔루션의 차이는 무엇인가? 스트림 컴퓨팅은 통상적으로 방대한 양의 데이터를 실시간으로 분석하는데 적용..

복잡한 이벤트 처리(Complex Event Processing, 이하 CEP)는 빅데이터에 있어 유용한 것인데 유동 데이터를 관리하기 위한 것이기 때문이다. CEP는 이벤트 발생 시 데이터를 추적하고, 분석하고, 처리하기 위한 기술이다. 이 정보는 비즈니스 규칙과 절차를 기반으로 처리되고 통신된다.CEP 뒤에 숨은 아이디어는 정보의 스트림 간에 상관관계를 수립할 수 있다는 것과 리스크를 줄이고 기회를 포착하는 등의 정의된 행동의 결과 패턴을 매칭할 수 있다는 것이다. CEP는 행동을 일으킬 수 있는 이벤트와 패턴을 발견하기 위해 다양한 관련 소스로부터 데이터를 수집하고 결합하는 간단한 이벤트 처리를 기반으로 하는 고급 접근방법이다.다음과 같이 예를 들어보자. 리테일 체인점이 반복적 판매를 늘리기 위해 ..

원문: http://www.itworld.co.kr/news/86474온라인 고객 데이터를 효과적으로 분석하고 이를 직원들이 활용할 수 있도록 허용한 기업이 수익과 생산성이 높다는 조사결과가 나왔다. 빅데이터는 그동안 '기업을 위한 필수 리소스'로 알려졌지만, 현재까지 그 가치를 입증할 수 있는 객관적인 근거는 많지 않다. 그러나 영국 네스타(NESTA, The National Endowment for Science Technology and the Arts)가 영국 내 다양한 업계의 기업 500개를 대상으로 조사한 결과를 보면 온라인 고객 정보를 수집, 분석, 활용한 기업은 생산성이 8~11% 더 높은 것으로 나타났다. 보고서를 보면 데이터 분석은 기업 수익성을 높이는 데도 도움이 된다. 수익성을 평균..