Scientific Computing & Data Science

빅데이터 분석의 장점 중 한 가지는 아마도 사기 예방일 것이다. 수많은 평가를 통해 보험 회사가 지급하는 보험료의 적어도 10퍼센트는 사기에 대한 것이며, 전세계의 사기 피해로 인한 보상은 수백만에서 수억 달러 규모에 이른다. 보험 사기가 새로운 문제는 아니지만 문제의 심각성은 나날이 증가하고 있으며 보험 사기의 가해자의 수법 또한 정교해지고 있다. 그렇다면 과연 보험 회사가 사기를 감지하는 방안에 있어 빅데이터가 할 수 있는 역할은 무엇일까? 보험 회사는 가급적 초기에 사기를 방지하려고 한다. 월급, 의료비 청구, 변호사 비용, 인구 통계, 날씨 데이터, 콜센터 기록, 음성 데이터 기록 등의 과거 데이터 및 실시간 데이터를 기반으로 한 예측 모델을 개발하여 회사들은 초기 단계에 사기성이 있는 수상한 클..

맵 리듀스는 빅데이터에 있어 이상적인 소프트웨어 프레임웍이다. 왜냐하면 프로세서 분산 그룹 상에서 방대한 양의 비정형(unstructured) 데이터를 병렬로 처리할 수 있는 프로그램을 개발할 수 있는 도구이기 때문이다. 빅데이터를 위한 맵 함수맵(map) 함수는 다년간 많은 함수형 프로그래밍 언어의 일부였다. 맵은 데이터 요소의 처리 항목에 있어 핵심 기술로 새로운 활력을 불어 넣었다.함수형 언어의 운용자들은 데이터의 구조를 변경하지 않았다; 이들은 결과 출력을 위해 새로운 데이터 구조를 만들어냈다. 본래의 데이터 자체 또한 변경되지 않았다. 따라서 맵 함수를 무사히(?) 사용할 수 있는데 이는 여러분의 소중한 데이터에 어떤 해도 가하지 않을 것이기 때문이다.함수형 프로그래밍의 또다른 장점은 데이터의 ..

하둡(Hadoop, 이하 하둡)은 HDFS (하둡 분산 파일 시스템, Hadoop Distributed File System)와 맵 리듀스(Map Reduce, 이하 맵 리듀스)를 이용하여 하드웨어 클러스터(즉, 분산 컴퓨팅 환경) 상에서 빅데이터를 분석하는 오픈-소스 소프트웨어 프레임웍이다.하둡 분산 파일 시스템(HDFS)은 기업들이 간단하고도 실용적인 방식으로 거대한 양의 데이터를 보다 쉽게 관리할 수 있도록 개발된 것이다. 하둡은 큰 문제를 보다 작은 요소를 분할하여 신속한 분석과 비용에 있어서도 효과적이도록 하였다. HDFS는 빅데이터 환경에 있어 파일 관리를 위한 다목적의 탄력있는 클러스터 접근법이다.HDFS는 파일 관리의 최종 목적지가 아니다. 이는 데이터 볼륨과 벨라서티(velocity)가 ..

빅데이터가 매우 활용가치가 높은 것은 누구나 알고 있는 사실이지만 분석 방법에 대해 아는 이들은 그리 많지 않다. Amazon과 Google 등은 빅데이터를 분석하는 최고의 역량을 지닌 기업들이다. 또한 이들 기업은 경쟁력 우위를 점하기 위한 지식을 보유하고 있다.Amazon의 추천 엔진을 생각해 보자. 이 엔진은 꽤 훌륭한 상품 추천을 위해 여러분의 구매 이력과 함께 구매 패턴, 여러분과 유사한 구매자의 구매 패턴까지도 알고 있다. 이것은 마켓팅 머쉰이며 이것의 빅데이터 분석 능력은 Amazon을 성공으로 이끌었다.빅데이터 분석 능력은 여러분의 조직에도 독특한 기회를 제공한다. 여러분이 할 수 있는 분석 방법을 늘릴 수 있을 것이다. 샘플링 된 큰 데이터 셋에 제한되는 대신, 분석을 위한 보다 자세하고..

1. 하둡(Hadoop)은 분산 빅데이터 관리에 있어 버팀목이 되어 가고 있다.하둡은 방대한 양의 데이터를 처리하고 분석하는데 있어 맵리듀스(Map Reduce)와 연동하여 사용되는 분산 파일 시스템이며, 빅데이터 트렌드를 이끌어가는 원동력이다. 하둡은 데이터 웨어하우스 기술과 접목되어 구조형(structured) 및 비구조형(unstructured) 데이터를 보다 효과적으로 통합될 수 있도록 한다. 2. 빅데이터는 센서 데이터 수집을 통해 전혀 새로운 비즈니스 결과를 가져온다.점점 더 많은 비즈니스가 매우 정교한 센서 장비를 이용하고 있다. 빅데이터 기술의 혁신은 이러한 모든 데이터 분석을 가능하게 하여 문제 해결 능력을 진보시키고 결과적으로 비즈니스를 보호할 수 있는 장치를 마련한다. 3. 빅데이터는..

SHOW DATABASES; // print the current list of database USE test; // select the database "test" CREATE DATABASE test; // create a database named "test" CREATE TABLE mytable( id INT NOT NULL AUTO_INCREMENT PRIMARY KEY, name VARCHAR(25) NOT NULL, content VARCHAR(255) NOT NULL ); // create a table named "mytable" with the fields of id, name and content DESC mytable; // print out the structure of myta..

On terminal on your mac type the followings:cd /usr/local/mysql/binsudo ./mysql