Scientific Computing & Data Science

by Geol Choi | April 11, 2017 지난 포스팅에 이어 R-TensorFlow 세번째 예제로 Linear Regression을 구현하는 방법에 대하여 알아보기로 한다. TensorFlow 라이브러리 로딩하기지난 포스팅의 예제들과 마찬가지로 가장 먼저 할 일은, TensorFlow 라이브러리를 로딩하는 것이다. 이 외에도 Linear Regression을 시각화 하기 위해 plotly 라이브러리도 로딩하도록 한다: R CODE:# import library if (! ("plotly" %in% rownames(installed.packages()))) { install.packages("plotly") } library(plotly) if (! ("tensorflow" %in% rowna..

by Geol Choi | April 11, 2017 이번 시리즈부터 R-TensorFlow 예제를 하나씩 정리해 나가기로 한다. 만약 R에 TensorFlow 개발 환경이 구축되어 있지 않다면 R에서 TensorFlow 개발환경 구축하기을 참고하기 바란다.이번 포스팅은 모든 프로그램 예제 중의 예제 HelloWorld의 R-TensorFlow 버전이다.이 예제는 단순히 화면에 "Hello, TensorFlow!"를 출력한다. TensorFlow 라이브러리 로딩하기TensorFlow 패키지가 현재 환경에 설치 되어있는지 확인하고 만약 설치되어 있지 않으면 설치하고, 해당 패키지 라이브러리를 로딩한다: R CODE:# import library if (! ("tensorflow" %in% rownames(..

앞선 포스팅(온라인 야구 데이터를 MongoDB에 저장하기)에서 Retrosheet의 Game Log 데이터를 불러오고 이를 MongoDB에 저장하는 방법에 대하여 알아보았다.이번 포스팅에서는 저장된 Game Log 데이터로부터 메이저리그의 역대 관중수가 어떻게 변화되어 왔는지 알아보기로 한다. 1. MongoDB 서버 실행이 포스팅은 Retrosheet의 Game Log 데이터가 MongoDB에 저장되어 있음을 가정하므로, 저장된 데이터를 가져오려면 MongoDB 서버가 실행되고 있다는 것 또한 가정한다.만약 MongoDB 서버 실행 방법을 모른다면 이 링크를 참고하기 바란다. 2. 관중수 계산하기Plotting을 위한 라이브러리 및 DB 관련 소스 로드하기년도와 각 연도별 관중수를 Plotting하기..

by Geol Choi | April 1, 2017 이번 포스팅에서는 R에서 h2o(https://www.h2o.ai) 라이브러리를 이용하여 MNIST 손글씨 숫자(Hand-written Digits) 이미지 데이터세트에 대하여 딥러닝 CNN(Convolutional Neural Network)을 통하여 학습을 시키고, 학습된 결과를 기반으로 테스트 데이터세트에 대하여 인식률을 계산해 보도록 하겠다. MNIST 데이터세트는 NIST라는 표준 참고용 데이터 중 일부로서 총 60,000개의 학습용 데이터세트와 10,000개의 테스트용 데이터세트로 구성된다. MNIST 데이터세트는 NIST의 오리지널 흑백 이미지를 20×20 픽셀 크기로 정규화 한 것이다. 결과 이미지들은 정규화 알고리즘을 이용하여 안티앨리어..

by Geol Choi | March 12, 2014 지난 포스팅에서 R에서 TensorFlow 개발환경 구축에 대하여 설명한 바 있다.R에서 TensorFlow 개발환경 구축에 성공하였다면, 간단한 예제를 실행해 보도록 하자. 패키지 라이브러리 로딩하기TensorFlow 패키지 라이브러리와 Plotting을 위해 plotly 패키지 라이브러를 로딩한다: ## load necessary library packages if (! ("tensorflow" %in% rownames(installed.packages()))) { install.packages("tensorflow") } library(tensorflow) if (! ("plotly" %in% rownames(installed.packages()..

참고 사이트: https://github.com/rstudio/tensorflow 1. 우선 Python 환경에 TensorFlow가 설치되어 있어야 한다.(현재 Windows 환경에서는 TensorFlow는 Python Version 3.X만 지원) 2. R에서 TensorFlow 패키지를 설치한다. > devtools::install_github("rstudio/tensorflow") 3. TensorFlow 위치를 지정한다.(TensorFlow 설치 시 자동으로 환경변수가 지정됨) > Sys.setenv(TENSORFLOW_PYTHON="/usr/local/bin/python") > library(tensorflow) 4. 설치가 잘 되었는지 확인한다. library(tensorflow) sess ..

Lahman 데이터를 이용한 야구 데이터 분석 Part 3.QUESTIONSQ1. American League의 지명타자 제도 도입으로 양 리그(National League와 American League) 간 득점의 차이가 생겼을까?Q2. MLB 전체 히스토리에서 투수의 완투비율은 어떻게 변화되어 왔는가? 지난 포스팅에 이어 질문을 하고 이에 대해 답하는 형식으로 야구 데이터 분석을 진행해 보기로 한다. Q1. American League의 지명타자 제도 도입으로 양 리그(National League와 American League) 간 득점의 차이가 생겼을까?이 질문에 대답을 하기 위해 American League에 지명타자 제도가 처음으로 도입된 해인 1973년도 이전과 이후의 양 리그 간 득점의 추이..

Lahman 데이터를 이용한 야구 데이터 분석 Part 2.QUESTIONSQ1. 각 10년 단위로 경기 당 평균 홈런 수는 몇 개인가?Q2. 각 10년 단위로 보았을 때 삼진 수와 홈런 수는 상관관계가 있을까? 본 포스팅에서는 Lahman 데이터 분석을 위한 준비를 했던 지난 글에 이어 본격적으로 데이터 분석을 하는 해보도록 한다.CRC Press의 "Analyzing Baseball Data with R"이 제시하는 질문에 답하는 유형으로 진행할 것이다.한 가지 첨언하면, 훌륭한 데이터 과학자의 자질 중 하나는 끊임없이 질문하고 그 질문에 데이터로 답을 할 수 있는 것임을 명심하자. Q1. 각 10년 단위로 경기 당 평균 홈런 수는 몇 개인가?이 질문에 답을 하려면 "Teams" 데이터를 불러온다.r..

이 글은 ParallelR의 R for Deep Learning (II): Achieve High-Performance DNN with Parallel Acceleration을 번역한 것입니다. 이전 포스트, R 딥러닝: 인공신경망 바닥부터 구현하기에서 신경망의 핵심 구성요소와 R에서 이것을 바닥부터 구현하는 방법에 대하여 알아보았다. 이제 R에서 구현안 것에 대한 연산 성능과 효율, 특히 멀티코어 CPU와 NVIDIA GPU 아키텍쳐에 대한 병렬 알고리즘에 관하여 집중적으로 알아보도록 하겠다. 성능 프로파일이 글에서 성능 분석을 위해 작지만 큰 데이터세트인 MNIST를 활용할 것이다. MNIST는 머신러닝 분야에서 손으로 쓴 숫자의 분류에 대한 정확도를 측정하기 위해 자주 사용되며, Kaggle 대회에..

이 글은 Parallel R의 R for Deep Learning (I): Build Fully Connected Neural Network from Scratch를 번역한 것입니다. Source Code: GitHub: https://github.com/PatricZhao/ParallelR 이론적 배경심층 인공신경망(이하 원어 사용: Deep Neural Network; DNN)는 최근 몇년간 이미지 인식, 자연어 처리 및 자율주행차 분야에서 막대한 성과를 이루어 냈으며, 그림 1.에서 보이는 바와 같이 2012년에서 2015년 사이 DNN은 IMAGNET의 정확도를 80%에서 95%까지 끌어올렸다. 이는 전통적인 컴퓨터 비전(Computer Vision; CV) 방법론들을 꺾은 것이다. 그림 1. -..