Scientific Computing & Data Science

Data Science, Big Data, Data Analytics에 대한 설명을 잘 해놓은 (무엇보다도 심플하면서도 간결한 디자인이 맘에 드는) 자료가 있어 소개하고자 한다.

앞선 포스팅(온라인 야구 데이터를 MongoDB에 저장하기)에서 Retrosheet의 Game Log 데이터를 불러오고 이를 MongoDB에 저장하는 방법에 대하여 알아보았다.이번 포스팅에서는 저장된 Game Log 데이터로부터 메이저리그의 역대 관중수가 어떻게 변화되어 왔는지 알아보기로 한다. 1. MongoDB 서버 실행이 포스팅은 Retrosheet의 Game Log 데이터가 MongoDB에 저장되어 있음을 가정하므로, 저장된 데이터를 가져오려면 MongoDB 서버가 실행되고 있다는 것 또한 가정한다.만약 MongoDB 서버 실행 방법을 모른다면 이 링크를 참고하기 바란다. 2. 관중수 계산하기Plotting을 위한 라이브러리 및 DB 관련 소스 로드하기년도와 각 연도별 관중수를 Plotting하기..

Retrosheet는 메이저리그 야구의 play-by-play Game Logs를 .zip 압축 파일 형태로 제공한다. Game Logs를 분석하기 위해 Retrosheet 웹사이트에서 일일이 .zip 파일들을 다운받아 압축을 풀어 불러올 수 있겠지만 여간 번거로운 것이 아닐 것이다. 이번 포스팅에서는 Retrosheet 웹사이트가 제공하는 Game Logs 파일들을 다운받아 CSV 형식으로 Data Frame에 저장하고 이를 MongoDB에 저장하고 또한 DB로부터 데이터를 불러오는 방법에 대하여 설명하도록 하겠다. 우선 Retrosheet 웹사이트를 방문하면 상단에 Data downloads > Game logs를 클릭한다. Game logs 페이지에 보면 1871년부터 2016년까지의 Game Lo..

알고리즘은 우리의 직업을 빼앗을 것인가? 그렇다, 정말 그렇다... 그런데 이것은 좋은 것이다.알고리즘은 문제를 풀고 목표를 달성을 돕는 규칙이 있는 과정의 연속물이다. 또한 이러한 과정과 규칙을 구조화 할 때 즉각적으로 인공지능(Artificial Intelligence; A.I.)을 구현하기 위한 알고리즘을 자동화하는 것이 가능하다. 이것이 우리의 과중한 분석 업무를 돕는 인공지능이며 이로써 우리는 우리가 본래의 업무에 충실할 수 있게 된다.인공지능는 우리의 직업, 업무 스타일, 비즈니스 문화를 바꾸고 있다. 인공지능은 우리가 인간 본연의 일인 핵심 문제에 집중할 수 있도록 돕는다. 그러나 일터에서 인공지능을 이용하는 것은 단순하지 않다. 인공지능을 구현하기 위한 알고리즘의 수준은 천차만별이며 이들은..

Lahman 데이터를 이용한 야구 데이터 분석 Part 2.QUESTIONSQ1. 각 10년 단위로 경기 당 평균 홈런 수는 몇 개인가?Q2. 각 10년 단위로 보았을 때 삼진 수와 홈런 수는 상관관계가 있을까? 본 포스팅에서는 Lahman 데이터 분석을 위한 준비를 했던 지난 글에 이어 본격적으로 데이터 분석을 하는 해보도록 한다.CRC Press의 "Analyzing Baseball Data with R"이 제시하는 질문에 답하는 유형으로 진행할 것이다.한 가지 첨언하면, 훌륭한 데이터 과학자의 자질 중 하나는 끊임없이 질문하고 그 질문에 데이터로 답을 할 수 있는 것임을 명심하자. Q1. 각 10년 단위로 경기 당 평균 홈런 수는 몇 개인가?이 질문에 답을 하려면 "Teams" 데이터를 불러온다.r..

원문: https://github.com/h2oai/h2o-tutorials/blob/master/tutorials/intro-to-datascience/intro-to-datascience.pdf

"Windows 환경에서 Docker를 이용하여 TensorFlow 설치"하는 방법에 대하여 소개한 바 있는데, 굳이 Docker를 이용하지 않고도 Anancoda 3를 통해 Windows OS 환경에서 TensorFlow를 설치하고 사용할 수 있다. Anaconda 3 설치다음 링크를 접속하여 Anaconda 3를 자신의 PC에 설치한다: https://www.continuum.io/downloadsAnaconda 3는 Python version 3.5를 지원한다. pip 명령을 통해 TensorFlow 설치Windows 시작 > 모든 프로그램 > Anaconda3(64-bit) > Anaconda Prompt를 관리자 권한으로 실행한다. Anaconda Prompt가 실행되면 TensorFlow의 C..

이 글은 Data Science Central의 Deep Learning: Definition, Resources, Comparison with Machine Learning을 번역한 것입니다. 딥 러닝은 이따금 머신러닝과 인공지능 간의 교차점으로 불리기도 한다. 딥 러닝은 타겟 테러리스트를 감지하기 위해 드론에서 사용되는 얼굴 인식 기술 등과 같이 로봇을 지능화할 수 있는 알고리즘 및 비행기, 기차, 보트, 자동차가 자동으로 주행할 수 있도록 하는 패턴 인식 / 컴퓨터 비전 알고리즘을 설계하는 것과 관련이 깊다.다수의 딥 러닝 알고리즘들(클러스터링, 패턴 인식, 자동경매, 추천 엔진 등)은 IoT, 머신-머신 통신 등과 같은 새로운 맥락에 등장한다고 하더라도 로지스틱 회귀분석, SVM, 결정 트리(De..

이 글은 Data Science Central의 15 Deep Learning Tutorials을 번역한 것입니다. 본 레퍼런스는 딥 러닝, 머신 러닝, 데이터과학, 딥 데이터 과학, 인공지능, 사물인터넷, 알고리즘 등 관련 토픽에 대하여 선택한 튜토리얼을 제공하는 DSC(Data Science Central) 아티클의 새로운 시리즈의 일부이다. 심도 있는 주제를 다룬 목록의 글들을 읽을 시간이 없는 바쁜 독자들을 위한 것이다. 15가지 딥 러닝 튜토리얼Deep Learning: Definition, Resources, Comparison with Machine LearningDeep Learning for Everyone – and (Almost) Free Guide to Deep Learning AI..

이 글에 소개되는 기술들은 대부분의 데이터 과학자 및 관련 업계 종사자들이 매일의 업무에 사용하는 기술로써 벤더가 제공하거나 직접 설계해서 쓰는 툴들이다. 아래 40개 중 어느 링크를 클릭하면 논의가 되고 있는 관련 글을 자세하게 읽을 수 있다. 이들 대부분의 글들은 구글 검색으로는 찾기 어렵기 때문에 데이터 과학, 머신러닝, 통계 과학에 대한 숨은 문헌에 접근하는 것이 된다. 이들 중 대다수는 논의가 되고 있는 기술에 대한 근본적인 이해를 돕고자 하는 것이며, 심도있는 참고문헌 및 소스코드를 제공한다.별표(*)가 되어있는 기술들은 소위 딥 데이터 과학(Deep Data Science)에 속하며, 이는 머신러닝, 컴퓨터 과학, 오퍼레이션 연구, 수학, 통계학 등의 분야와 조금이라도 겹치는 데이터 과학의 ..