Scientific Computing & Data Science

Lahman 데이터를 이용한 야구 데이터 분석 Part 2.QUESTIONSQ1. 각 10년 단위로 경기 당 평균 홈런 수는 몇 개인가?Q2. 각 10년 단위로 보았을 때 삼진 수와 홈런 수는 상관관계가 있을까? 본 포스팅에서는 Lahman 데이터 분석을 위한 준비를 했던 지난 글에 이어 본격적으로 데이터 분석을 하는 해보도록 한다.CRC Press의 "Analyzing Baseball Data with R"이 제시하는 질문에 답하는 유형으로 진행할 것이다.한 가지 첨언하면, 훌륭한 데이터 과학자의 자질 중 하나는 끊임없이 질문하고 그 질문에 데이터로 답을 할 수 있는 것임을 명심하자. Q1. 각 10년 단위로 경기 당 평균 홈런 수는 몇 개인가?이 질문에 답을 하려면 "Teams" 데이터를 불러온다.r..

원문: https://github.com/h2oai/h2o-tutorials/blob/master/tutorials/intro-to-datascience/intro-to-datascience.pdf

이 글은 Data Science Central의 Deep Learning: Definition, Resources, Comparison with Machine Learning을 번역한 것입니다. 딥 러닝은 이따금 머신러닝과 인공지능 간의 교차점으로 불리기도 한다. 딥 러닝은 타겟 테러리스트를 감지하기 위해 드론에서 사용되는 얼굴 인식 기술 등과 같이 로봇을 지능화할 수 있는 알고리즘 및 비행기, 기차, 보트, 자동차가 자동으로 주행할 수 있도록 하는 패턴 인식 / 컴퓨터 비전 알고리즘을 설계하는 것과 관련이 깊다.다수의 딥 러닝 알고리즘들(클러스터링, 패턴 인식, 자동경매, 추천 엔진 등)은 IoT, 머신-머신 통신 등과 같은 새로운 맥락에 등장한다고 하더라도 로지스틱 회귀분석, SVM, 결정 트리(De..

이 글에 소개되는 기술들은 대부분의 데이터 과학자 및 관련 업계 종사자들이 매일의 업무에 사용하는 기술로써 벤더가 제공하거나 직접 설계해서 쓰는 툴들이다. 아래 40개 중 어느 링크를 클릭하면 논의가 되고 있는 관련 글을 자세하게 읽을 수 있다. 이들 대부분의 글들은 구글 검색으로는 찾기 어렵기 때문에 데이터 과학, 머신러닝, 통계 과학에 대한 숨은 문헌에 접근하는 것이 된다. 이들 중 대다수는 논의가 되고 있는 기술에 대한 근본적인 이해를 돕고자 하는 것이며, 심도있는 참고문헌 및 소스코드를 제공한다.별표(*)가 되어있는 기술들은 소위 딥 데이터 과학(Deep Data Science)에 속하며, 이는 머신러닝, 컴퓨터 과학, 오퍼레이션 연구, 수학, 통계학 등의 분야와 조금이라도 겹치는 데이터 과학의 ..

데이터 과학이 R, Python, Hadoop, SQL 및 전통적 머신러닝 또는 통계 모델링에 대한 것이라고 믿는 사람들이 많다. 아래의 글들은 데이터 과학이 얼마나 현대적이며, 넓고 깊은 분야인지를 기본적으로 보여준다. 어떤 데이터 과학자들은 실제로 위에 나열된 것들 중 아무 것도 하지 않는다. 어떠한 코딩도 하지 않고, 대신, 머신 간 통신 프레임워크에서 다양한 어플리케이션들이 서로 대화하도록 하는 일을 데이터 과학자도 있다. 그러나 대부분의 데이터 과학자들이 R, Python, Hadoop 관련 시스템을 사용하는 것은 사실이다.심층 데이터 과학에 대한 글(아래 참고)을 읽어보면 데이터 과학 또한 많은 사람들(자신을 데이터 과학자라고 부르는 사람들)이 반복적으로 하는 일을 자동화하는 것을 알 수 있다..

* 이 글은 Data Science Central의 "Difference between Machine Learning, Data Science, AI, Deep Learning, and Statistics"을 번역한 것이다. 이번 글에서는 데이터 과학자의 다양한 역할과 머신러닝, 딥 러닝, AI, 통계학, IoT, 오퍼레이션 리서치, 응용 수학 등과 같은 관련 분야와 데이터 과학이 어떻게 다른지 공통점은 무엇인지 기술하고자 한다.데이터 과학은 넓은 분야를 포괄하는 만큼, 어떤 사업 분야에서도 마주칠 수 있는 데이터 과학자의 다양한 유형에 대해 살펴보기록 한다: 각자는 자신이 미처 몰랐던 스스로가 데이터 과학자임을 깨닫게 될 수도 있다.다른 과학 분야의 소양과 마찬가지로, 데이터 과학자들은 관련 소양으로부..

원문 : http://www.bloter.net/archives/265786 최근 IT 업계에서 가장 성장하고 있는 분야 중 하나는 데이터과학이다. 국내외 대기업부터 스타트업까지 데이터의 중요성을 강조하고, 기업은 실력 있는 데이터과학자 찾기에 분주하다. 하지만 생각보다 데이터과학자가 무엇을 하는 사람인지, 무엇을 준비해야 데이터과학자가 될 수 있는지 아는 사람은 많지 않다. 지난 10월14일, 데이터과학자들이 함께 모여 기술과 경험을 공유하는 장이 열렸다. ‘데이터야 놀자’에서 데이터 과학자를 꿈꾸는 사람이나 데이터분석 조직을 준비하는 이들에게 도움이 될만한 이야기를 들을 수 있었다.데이터엔지니어, 데이터애널리스트, 데이터사이언티스트?업계에서 데이터과학자가 하는 일은 생각보다 다양하다. 그러다보니 직함..

Written by CINEMA4D데이터 과학에 있어 데이터를 처리하는 순서는 다음 그림과 같다: [실세계]각종 포털사이트, 온/오프라인 쇼핑몰, Facebook, Google+, Twitter와 같은 SNS 등 데이터를 수집할 수 있는 모든 데이터 원천을 의미한다. [미가공 데이터]실세계로부터 얻어진 데이터는 가공되지 않은 형태의 "있는 그대로의 데이터(Raw Data)"로 존재한다. 이것은 로그 파일, 이메일, 동영상, 음성 등 다양한 비정형 데이터로 존재할 가능성이 높으며 정형화 된 형태일지라도 데이터가 유실될 경우도 많다. [데이터 처리]미가공 데이터는 R, Python, Ruby 등과 같은 데이터 처리 도구를 통하여 처리되고 SQL, NoSQL 등과 같은 데이터 쿼리 언어를 통해 데이터를 저장한..

이번 글에서는 MongoDB의 응용으로서 통계 분석의 오픈소스 S/W로 널리 알려진 R에서 MongoDB를 연동하는 방법에 대해 소개하고자 한다. R용 MongoDB 패키지 설치 및 불러오기우선 가장 먼저할 일은 R에서 MongoDB를 연동하는 패키지인 rmongodb를 설치하는 것이다:> install.packages("rmongodb") 설치가 완료되면 라이브러리(패키지)를 불러온다:> library(rmongodb) MongoDB 서버 열기R에서 MongoDB를 연결하기 전에 MongoDB 서버를 작동시킨다. 일단은 Command Line Tool(Mac에서는 Terminal, Winodws에서는 Console)을 이용하여 MongoDB 로컬 서버를 열도록 하겠다.$ mongod -dbpath /{..

이번 글에서는 한 대학의 동문들이 기부한 기부금에 대한 데이터 마이닝 연습을 해보도록 한다. [데이터 준비하기]우선 다음 CSV 파일을 다운받고 R의 working directory에 저장한다: 그래픽 처리를 위한 lattice 라이브러리를 임포트하고 위에 첨부한 CSV 파일의 데이터를 불러내어 don이라는 변수에 저장한다. > library("lattice") > don = read.csv("contribution.csv") 우선 don의 항목을 살펴보자:> names(don) [1] "Gender" "Class.Year" "Marital.Status" "Major" "Next.Degree" [6] "FY04Giving" "FY03Giving" "FY02Giving" "FY01Giving" "FY00G..