Scientific Computing & Data Science

데이터 과학이 R, Python, Hadoop, SQL 및 전통적 머신러닝 또는 통계 모델링에 대한 것이라고 믿는 사람들이 많다. 아래의 글들은 데이터 과학이 얼마나 현대적이며, 넓고 깊은 분야인지를 기본적으로 보여준다. 어떤 데이터 과학자들은 실제로 위에 나열된 것들 중 아무 것도 하지 않는다. 어떠한 코딩도 하지 않고, 대신, 머신 간 통신 프레임워크에서 다양한 어플리케이션들이 서로 대화하도록 하는 일을 데이터 과학자도 있다. 그러나 대부분의 데이터 과학자들이 R, Python, Hadoop 관련 시스템을 사용하는 것은 사실이다.심층 데이터 과학에 대한 글(아래 참고)을 읽어보면 데이터 과학 또한 많은 사람들(자신을 데이터 과학자라고 부르는 사람들)이 반복적으로 하는 일을 자동화하는 것을 알 수 있다..

* 이 글은 Data Science Central의 "Difference between Machine Learning, Data Science, AI, Deep Learning, and Statistics"을 번역한 것이다. 이번 글에서는 데이터 과학자의 다양한 역할과 머신러닝, 딥 러닝, AI, 통계학, IoT, 오퍼레이션 리서치, 응용 수학 등과 같은 관련 분야와 데이터 과학이 어떻게 다른지 공통점은 무엇인지 기술하고자 한다.데이터 과학은 넓은 분야를 포괄하는 만큼, 어떤 사업 분야에서도 마주칠 수 있는 데이터 과학자의 다양한 유형에 대해 살펴보기록 한다: 각자는 자신이 미처 몰랐던 스스로가 데이터 과학자임을 깨닫게 될 수도 있다.다른 과학 분야의 소양과 마찬가지로, 데이터 과학자들은 관련 소양으로부..

이번 글에서는 R에서 지정된 Directory 내의 파일들을 일정 포맷으로 일괄적으로 변경하는 팁을 설명하고자 한다. 가령, 아래 이미지와 같이 "Test" Directory 내에 파일들이 다음과 같이 존재한다고 가정하자. [./Test/] 위의 해당 Directory 내의 파일들을 아래 이미지와 같이 일괄 변경하는 R 코딩을 한다고 가정한다. 즉, "Air-"를 "Water_"로 변경하였고, "001"로 시작하는 Index를 "007"로 시작하도록 하였다. Directory 내 파일 모두 불러오기특정 Directory(Path)를 지정하는 변수를 basePath 라고 하고 하고, fileList 변수에 해당 경로의 파일들을 모두 불러오려면 다음과 같이 코드를 작성한다. fileList basePath ..

Written by CINEMA4D * 데이터 과학의 과학적 접근 방법에 대한 절차질문을 한다.백그라운드 리서치(Background Research)를 수행한다.가설을 세운다.실험을 통해 가설을 테스트한다.데이터를 분석하고 결론을 도출한다.결과에 대한 토의를 한다.

Written by CINEMA4D데이터 과학에 있어 데이터를 처리하는 순서는 다음 그림과 같다: [실세계]각종 포털사이트, 온/오프라인 쇼핑몰, Facebook, Google+, Twitter와 같은 SNS 등 데이터를 수집할 수 있는 모든 데이터 원천을 의미한다. [미가공 데이터]실세계로부터 얻어진 데이터는 가공되지 않은 형태의 "있는 그대로의 데이터(Raw Data)"로 존재한다. 이것은 로그 파일, 이메일, 동영상, 음성 등 다양한 비정형 데이터로 존재할 가능성이 높으며 정형화 된 형태일지라도 데이터가 유실될 경우도 많다. [데이터 처리]미가공 데이터는 R, Python, Ruby 등과 같은 데이터 처리 도구를 통하여 처리되고 SQL, NoSQL 등과 같은 데이터 쿼리 언어를 통해 데이터를 저장한..

빅 데이터는 오늘날 모호한 허술하게 사용되는 모호한 용어이다. 간단히 표현하여 캐치프레이즈는 세 가지를 담고 있다. 첫째, 빅 데이터는 기술의 집약체이다. 둘째, 측정에 있어 잠재적 혁명이다. 셋째, 미래에 이루게 될 결정방법에 대한 관점 또는 철학이다. - Steve Lohr The New York Times[빅 데이터에 대하여 재고할 세 가지] 1. "빅"은 움직이는 목표이다.빅 데이터를 1 페타바이트와 같은 크기 이상의 데이터로 규정하는 하는 것은 의미없다.왜냐하면 크기에 대한 절대적인 조건이 있는 것처럼 생각되기 때문이다.크기가 도전적인 문제가 될 때에만 "빅"이라고 칭할 수 있을 것이다.따라서 "빅"의 개념은 데이터의 크기가 기존의 계산 도구가 감당할 수 있는 한계(메모리, 스토리지, 복잡도, ..

빅데이터의 현재 상태에 신속하게 반응하려면 유동 데이터가 필요하다. 신용카드 거래를 완료하거나 이메일을 보내려면, 데이터가 어느 한 위치에서 다른 위치로 전송되어야 한다. 데이터가 데이터 센터나 클라우드의 데이터베이스에 저장되어 있다면 그 데이터는 유동성이 없다. 반면, 데이터가 하나의 위치에서 다른 위치로 전송될 때 이 데이터는 유동적이다.비즈니스 인사이트를 얻기 위해 거의 실시간에 가깝게 방대한 양의 데이터를 처리해야 하는 기업들은 데이터가 계속적으로 흐르고 있는 동안에도 데이터를 정비하고 있을 가능성이 높다. 유동 데이터와 방대한 양의 데이터는 손에 손을 잡고 있다. 연속적인 스트림의 방대한 양의 데이터에 대한 많은 실세계 예시들이 현재 사용되고 있다:센서들은 고도로 민간한 의료 장비와 연결되어 성..

빅데이터 워크플로우를 이해하려면, 먼저 프로세스가 무엇인지 그리고 이것이 데이터-집약적 환경에서 워크플로우와 어떤 관련이 있는지를 이해해야 한다. 프로세스는 기업이나 기관들에서 의사결정 및 업무목표 규정에 유용한 고수준의 전체 구조로 설계된다.이와는 대조적으로, 워크플로우는 업무에 대한 개별적인 방향성을 두고 프로세스 보다 더욱 특정의 데이터를 요구한다. 프로세스는 프로세스의 전반적 목표에 상응하는 하나 이상의 워크플로우로 구성된다.방법론적 시각에서 볼 때 빅데이터 워크플로우는 표준 워크플로우와 유사하다. 사실 어느 워크플로우든 업무 목표를 달성하기 위해서는 각 단계에서 데이터가 필요하다. 헬스케어 상황에서의 워크플로우를 예로 들어보자.가장 기초적인 워크플로우는 "채혈" 프로세스이다. 채혈은 전반적인 진..

원문: http://blog.naver.com/97jkkim?Redirect=Log&logNo=20205913188 Ⅰ.서론 1. 연구목적2. 빅 데이터의 개념 Ⅱ.본론 1. 빅 데이터가 몰고 온 새로운 물결1) 빅 데이터 이용의 사례들 2. 빅 데이터와 사회변화1) 비용의 절감2) 컴퓨터 프로그램의 발달3) 빅 데이터의 등장으로 인한 학자의 역할 변화 3. 빅 데이터의 리스크1) 사생활의 침해2) 예측과 범죄3) 기만하는 데이터 4. 빅 데이터의 리스크 해결1) 정보제공 동의에서 책임으로2) 범죄 예측과 그 처벌에 대한 통제3) 빅 데이터 전문가의 등장4) 빅 데이터 “왕”의 통제 Ⅲ.결론 1. 빅 데이터로 인한 사회 및 경제의 변화1) 빅 데이터로 인한 사회 및 경제의 변화 Ⅰ.서론 2009년 새로운..

스트리밍 데이터와 CEP는 기업들이 빅데이터를 활용하는데 있어 엄청난 영향력을 지니고 있다. 스트리밍 데이터를 활용하여, 기업들은 즉각적인 인사이트를 얻기 위해 실시간으로 이러한 데이터를 처리하고 분석할 수 있다. 과거에 인식하지 못하고 지나쳤던 핵심 데이터를 지속적으로 분석하기 위해 종종 두 개의 절차가 요구된다.CEP 접근방법을 통해 기업들은 데이터를 스트리밍하고 비즈니스 프로세스 엔진을 활용하여 비즈니즈 규칙을 이러한 스트리밍 데이터 분석 결과에 적용한다. 새로운 혁신과 새로운 행동으로 이끄는 인사이트를 얻을 수 있는 기회들은 스트리밍 데이터 접근방법의 기반 가치이다.그러면 CEP와 스트리밍 데이터 솔루션의 차이는 무엇인가? 스트림 컴퓨팅은 통상적으로 방대한 양의 데이터를 실시간으로 분석하는데 적용..