Scientific Computing & Data Science

빅데이터의 현재 상태에 신속하게 반응하려면 유동 데이터가 필요하다. 신용카드 거래를 완료하거나 이메일을 보내려면, 데이터가 어느 한 위치에서 다른 위치로 전송되어야 한다. 데이터가 데이터 센터나 클라우드의 데이터베이스에 저장되어 있다면 그 데이터는 유동성이 없다. 반면, 데이터가 하나의 위치에서 다른 위치로 전송될 때 이 데이터는 유동적이다.비즈니스 인사이트를 얻기 위해 거의 실시간에 가깝게 방대한 양의 데이터를 처리해야 하는 기업들은 데이터가 계속적으로 흐르고 있는 동안에도 데이터를 정비하고 있을 가능성이 높다. 유동 데이터와 방대한 양의 데이터는 손에 손을 잡고 있다. 연속적인 스트림의 방대한 양의 데이터에 대한 많은 실세계 예시들이 현재 사용되고 있다:센서들은 고도로 민간한 의료 장비와 연결되어 성..

대부분의 빅데이터 관리 전문가들은 구조형 데이터베이스 관리 환경에서 메타데이터 관리의 필요성에 익숙하다. 이러한 데이터 소스들은 강한 유형적 틀을 지니며(예를 들어, 첫번째 10글자는 이름으로 정하는 것 등) 메타데이터 운영을 위해 설계되었다. 메타데이터가 비정형 구조 데이터에서는 존재하지 않는 것으로 가정하는 경우가 많은데 사실은 그렇지가 않다.통상적으로 어떤 유형의 데이터든지 구조를 발견할 수 있다. 비디오의 예를 들어 보자. 특정 비디오 콘텐츠를 정확히 알 수는 없지만 비디오 기반 데이터의 포맷 내에 많은 구조가 존재한다. 만약 비정형 구조의 텍스트를 본다면 영어로 씌어져 있는 단어들을 볼 수 있으며 적합한 툴을 적용한다면 텍스트를 해석할 수 있다.비정형 구조 데이터로부터 이러한 내포적 메타데이터로..

여러분은 빅데이터 분석에 대한 뉘앙스를 깨닫게 될 것이다. 이것은 정말 작은 데이터에 관한 것이다. 이것이 혼란스러워 보일 수도 있고 전체적인 전제에 위반되는 것처럼 보일 수도 있지만, 작은 데이터는 빅데이터 분석의 결과이다. 전혀 새로운 개념도 아니며, 오랜동안 데이터 분석을 해왔던 사람들에게 익숙하지 않은 것도 아니다. 전체 작업 공간은 커지고 있으나, 해답은 "작다"는 것 어딘가에 존재한다.전통적 데이터 분석은 고객 정보, 제품 정보, 거래 정보, 원격측정 데이터 등등으로 가득찬 데이터베이스로 시작했다. 그 당시에도 가용 데이터는 차거 넘쳐서 효율적인 데이터 분석이 불가능했다. 시스템, 네트워크, 소프트웨어는 스케일을 논할 만한 성능이나 용량이 되지 않았다. 산업 곳곳에서 보다 작은 데이터 세트를 ..

원문: http://www.ciokorea.com/slideshow/12832?slide=1#stage_slide페이스북"데이터 과학자는 소프트웨어 엔지니어와 정량 조사에 익숙한 전문가입니다. 온라인 소셜 네트워크의 연구에 강한 관심과 우리가 최고의 제품을 만들도록 도울 질문을 확인하고 답을 줄 수 있는 열정을 가진 데이터 과학자를 우대합니다.” 출처 : 페이스북의 데이터 과학자 채용 공고자격 조건 : 관련 분야의 이공계 석사 또는 박사 학위 소지자거나 관련 업무 경력 4년 이상인 사람; 정성적인 접근을 사용한 분석 문제 해결하는 데 경험이 풍부한 사람; 다양한 정보에서 데이터를 가져와 대용량의 복잡한 고차원 분석에 익숙한 사람; 데이터와 관련한 고난이도의 질문에 답을 찾고 경험적 연구에 대해 열정적으로..

빅데이터는 의료 서비스의 품질을 높이는데 있어 유전자 연구 분야에서 고급 영상의학 분야에 이르는 헬스케어 산업에 대해 중대한 의미를 갖는다. 각 영역에서 심도있는 연구 진행을 위해 빅데이터 분석이 활용되는 반면, 빅데이터 활용에 대한 혜택은 이 정보를 의약에 적용하는 것이다.충분한 데이터가 획득되면, 이 데이터는 실용적이고도 생명을 구하기 위한 적절한 타이밍에 적용될 수 있다. 메디컬 클리니션(직접 환자를 상대하는 의사)들과 연구자들은 스트리밍 데이터를 활용하여 병원 셋팅에 대한 의사결정 속도를 높이며 환자를 위한 헬스케어 서비스 품질을 향상시키고 있다.환자 진료 시, 의사들은 실험실 테스트 결과, 임상병리학 리포트, X-레이, 디지털 이미지 등을 포함한 방대한 양의 시간-민감 데이터(시간에 따라 실시간..

거의 모든 도시가 세금의 형태, 건물과 다리의 센서, 교통 상황 모니터링, 위치 데이터, 범죄 활동 관련 데이터 등의 빅데이터를 사용할 수 있는 역량을 갖추고 있다. 도시를 더욱 안전하게, 보다 효율적으로, 더욱 살기 좋은 곳으로 또는 더욱 일하기 좋은 곳으로 만드는 실행 가능한 정책을 만들기 위해서는 다양한 소스로부터 방대한 양의 데이터를 수집하고 분석해야 한다.많은 도시 공무원들은 공공 정책 향상에 관한 연구에 수반되는 대부분의 데이터(년도별 인구 데이터, 경찰 기록, 도시 세금 기록 등)를 수집해 오고 있으며, 분석하는 기간은 역사적으로 볼 때 몇달 또는 몇년이 소요되었다. 경찰서와 같은 하나의 특정 공무 기관 내에서 조차 각각의 분할된 지구가 따로따로 데이터를 수집하며 도시 및 주변 커뮤니티가 이..

당신의 사업은 다양한 형태의 데이터를 가지고 무엇을 하고 있는가? 빅데이터는 해결하고자 하는 문제에 따라 전통적 또는 최신의 다양한 데이터 분석 방법을 요구한다. 어떤 분석 방법은 전통적 데이터 웨어하우스를 사용할 것이고, 어떤 분석 방법은 최신의 예측 모델을 포함한 분석 방법을 이용할 것이다. 비즈니스의 미래를 성공적으로 계획하려면 많은 다양한 방법을 이용하여 빅데이터를 전체적으로 다룰 수 있어야 한다. 빅데이터를 위한 분석적 데이터 웨어하우스와 데이터 시장활용할 수 있는 방대한 양의 데이터를 분류한 후, 기업은 특정 패턴을 띄고 있는 데이터의 부분집합을 가지고 비즈니스에 활용 가능한 형태로 만드는 것이 실용적이다. 이러한 데이터 웨어하우스 및 데이터 시장은 압축, 멀티레벨 분류, 초병렬 처리 아키텍쳐..

기업들이 고객과 협력사들을 만족시키는데 있어 차이를 만들 수 있는 빅데이터는 더이상 과거의 데이터베이스에서 해답을 찾기 어렵다. 이전과는 다른 소스로부터의 비정형 구조 데이터의 가치는 분명해졌다. 비즈니스 리더들은 고객 지원 시스템의 텍스트 형태든 소셜 미디어 사이트든간에 비정형 구조의 정보를 신속히 분석하지 못한다면 중요한 통찰력을 얻는 것은 불가능하다. 빅데이터는 어떻게 기업들을 민첩하게 그리고 이윤을 창출할 수 있게 하는가기업들이 방대한 양의 데이터를 분서하고 이에 대한 결과를 실시간으로 고객의 의사 결정 프로세스와 비교할 수 있다면, 사업은 어마어마한 이윤을 창출할 것이다. 따라서, 비즈니스 프로세스의 일부로서 비정형 및 정형 구조의 데이터를 결합하여 활용하면 비즈니스 역량을 민첩하고 재빠르게, ..

일단 빅데이터를 수잡하였다면 다음으로 할 일은 무엇일까? 오늘날에는 고객의 충성도가 무엇보다도 중요한데 서비스 제공자와의 상호작용에 있어 선택권은 늘 고객에게 주어지기 때문이다. 이것은 어느 산업을 막론한 진실이다. 구매자는 보다 다양한 선택권을 가지고 있으며 구매 결정에 있어 점점 더 많은 연구를 하고 있으며 모바일 기기로 구매 결정을 하고 있다.급변하는 모바일 주도 시장에서의 경쟁력을 갖추려면 각 고객에 대해 더욱 깊이 알아야 하며 고객 맞춤형 지식으로 무장하여 고객과의 반응에 주목해야만 한다. 구매자가 구매 결정을 하는 동안 무엇을 제공하는 것이 적절할까? 당신의 고객 서비스 대표가 고객이 당신의 회사에 대해 가지고 있는 가치와 구체적 요구사항에 대한 맞춤형 지식을 갖추었다고 판단할 수 있는 근거는..

빅데이터 분석의 장점 중 한 가지는 아마도 사기 예방일 것이다. 수많은 평가를 통해 보험 회사가 지급하는 보험료의 적어도 10퍼센트는 사기에 대한 것이며, 전세계의 사기 피해로 인한 보상은 수백만에서 수억 달러 규모에 이른다. 보험 사기가 새로운 문제는 아니지만 문제의 심각성은 나날이 증가하고 있으며 보험 사기의 가해자의 수법 또한 정교해지고 있다. 그렇다면 과연 보험 회사가 사기를 감지하는 방안에 있어 빅데이터가 할 수 있는 역할은 무엇일까? 보험 회사는 가급적 초기에 사기를 방지하려고 한다. 월급, 의료비 청구, 변호사 비용, 인구 통계, 날씨 데이터, 콜센터 기록, 음성 데이터 기록 등의 과거 데이터 및 실시간 데이터를 기반으로 한 예측 모델을 개발하여 회사들은 초기 단계에 사기성이 있는 수상한 클..