Scientific Computing & Data Science

Written by Geol Choi | Oct. 01, 2017 이번 포스팅에서는 R에서 GPU(CUDA)가 지원되는 TensorFlow 실행환경을 구축하는 방법에 대하여 알아보겠습니다. 수많은 삽질(?)을 한 끝에 알아낸 나름의 방법인데 정답인지는 모르겠습니다. 다만 이 방법으로 실행환경을 설정하면 확실히 R에서 GPU가 지원되는 TensorFlow를 활용할 수 있을 것입니다.설치환경Windows 7 OS 환경에서 설치방법을 설명하겠지만, Mac OS나 Linux 계열에서도 비슷한 방법으로 설치가 가능하리라 생각됩니다. 필자의 설치환경은 다음과 같습니다:OS: Windows 7 64bit그래픽스 카드: Nvidia GeForce GTC 750TiR: 3.4.2 (Short Summer) - 이 글을 ..

Written by Geol Choi | Aug. 2, 2017 TensorFlow를 이용한 학습을 통해 예측 모델을 생성한 후 추후 이 모델을 다시 사용하기 위해 결과를 저장할 필요가 있습니다. (저장하지 않는다면 매번 학습을 다시 해야하기 때문이죠! 이것은 분명 시간 낭비입니다.) 그래서 이번 포스팅에서는 학습이 완료된 결과 모델과 변수를 어떻게 저장하는지 그리고 저장된 결과를 어떻게 복구하는지 알아보는 시간을 갖도록 하겠습니다. 테스트 환경은 R이지만, Python도 (문법은 아주 약간 다르지만) 동일한 로직으로 동작하니 Python 문법으로 작성 시에도 참고하면 도움이 되리라 생각됩니다.→ 사실 R에서의 TensorFlow는 Python-TensorFlow의 인터페이스에 불과합니다. 그럼에도 R을..

Written by Geol Choi | Jul. 31, 2017 [목차]1. 필요한 패키지 로딩2. MNIST 데이터세트 임포트3. 학습 파라미터 정의4. 네트워크 파라미터 정의5. placeholder 변수 설정6. 네트워크 변수 정의 및 초기화7. 네트워크 모델 구성8. 손실함수와 옵티마이저 정의9. 변수 및 세션 초기화10. 학습11. 학습된 모델 평가12. 정확도 계산13. 결과 그래프 출력14. 전체 코드15. 맺음말 이번 포스팅에서는 MNIST 손글씨 숫자(Hand-written Digits) 데이터세트를 활용하여 TensorFlow에서 Multilayer Perceptron(MLP) 또는 Feedforward Neural Networks를 구현하는 방법에 대해 알아보도록 하겠습니다. MLP..

Written by Geol Choi | Jul. 15, 2017 이번 포스팅에서는 회선신경망(Convolutional Neural Network; CNN)을 이용하여 손글씨 숫자를 학습시키는 코드를 Pytnon과 R 각각에 대하여 TensorFlow에서 어떻게 구현할 수 있는지 알아보도록 한다. [목차] 1. Python-TensorFlow 2. R-TensorFlow 2.1. 라이브러리 패키지 불러오기 2.2. 입력 데이터 준비 2.3. 파라미터 정의 2.4. weights & biases 변수 정의 2.5. placeholder 변수 정의 2.6. conv2d 함수 정의 2.7. maxpool2d 함수 정의 2.8. conv_net 함수 정의 2.9. 모델 세우기 2.10. 손실함수 및 Optimi..

by Geol Choi | Jul. 8, 2017 이번 포스팅에서는 다중변수 선형 회귀(Multi-variable Linear Regression 또는 Multiple Linear Regression) 모델에 대한 간단한 이론과 이를 TensorFlow를 이용하여 최적화 문제로 풀고 결과를 비교해 보도록 하겠다.1. Theory by Example 1.1. Dataset - IQ와 신체적 특성과의 관계지능지수에 관하여 많은 사람들이 궁금해하는 것이 있다: "과연 뇌의 크기와 지능지수와의 상관성이 있을까? 있다면, 뇌의 크기로 지능지수를 유추할 수 있을까?" 이 질문에 답을 하기 위하여 몇몇 연구자들(Willerman, et al, 1991)은 38명의 대학생들을 상대로 뇌의 신체적 특성과 IQ를 조사하였..

by Geol Choi | Jun. 26, 2017 이번 포스팅에서는 R에서 MXNet 딥러닝 프레임워크를 활용하여 간단한 Classification 문제를 풀어보도록 한다.만약 R에서 MXNet 개발환경을 처음으로 구축하고자 한다면 여기를 참고하도록 한다. MXNet 개발환경 설정이 모두 완료되면, MXNet 라이브러리를 로딩한다: 1234############################################################ load libraries###########################################################base::require(mxnet)Colored by Color Scriptercs 이제 데이터를 준비해야 하는데, R에 빌트인..

by Geol Choi | Jun. 25, 2017 R의 EBImage 라이브러리 패키지를 이용하여 랜덤 컬러 이미지 생성하는 법을 소개한다.EBImage 패키지 설치 및 로딩12345## try http:// if https:// URLs are not supportedsource("https://bioconductor.org/biocLite.R")biocLite("EBImage") base::require(EBImage)cs이미지 사이즈 정의12nWidth

Lahman 데이터를 이용한 야구 데이터 분석 Part 4.QUESTIONSQ1. 1980년부터 2016년까지 MLB의 요일별 누적 관중수는 어떻게 될까? 지난 포스팅에 이어 이번 포스팅에서는 1980년부터 2016년까지의 메이저리그 요일별 누적 관중수를 계산하여 그래프로 출력해 보도록 하겠다. 데이터는 Retrosheet의 Game Log 데이터로부터 계산되며, 이 데이터를 MongoDB로 입출력하는 방법에 대하여서는 "온라인 야구 데이터를 MongoDB에 저장하기"를 참고하기 바란다.패키지 및 소스 로딩하기그래프 출력 및 그래프 저장을 위해 plotly와 webshot 패키지를 로딩한다:12345678if (! ("plotly" %in% rownames(installed.packages()))) { ..

by Geol Choi | May 9, 2017 이번 포스팅에서는 R의 rvest 패키지를 이용하여 유명 야구 데이터 사이트인 baseball-reference.com으로부터 데이터를 가져오는 방법에 대해 알아보도록 하겠다 - 데이터를 가져오는 방법에 대해서만 다룰 것이며, 데이터 분석에 대한 내용은 아니다.rvest는 R의 웹 스크래핑(Web Scraping)을 위한 패키지로 Tag Selection, CSS Selection 등 다양한 기능이 있지만, 본 포스팅은 rvest 패키지 사용법 자체를 소개하려는 목적은 아니므로, 이를 이용한 다양한 웹 스크래핑 기능을 알고 싶다면 rvest의 CRAN 페이지나 관련 PDF 파일을 참고하길 바란다.그럼 이제 본격적으로 진행해 보도록 하겠다. 웹페이지 가져오기..

by Geol Choi | Apr. 20, 2017Contents1. 소개 2. R의 딥러닝 패키지들 3. "MXNetR" 패키지 4. "darch" 패키지 5. "deepnet" 패키지 6. "H2O" 패키지 7. "deepr" 패키지 8. 패키지 비교 9. 결론 10. 참고 1. 소개딥러닝은 데이터를 고도의 비선형 모델링을 할 수 있는 머신러닝의 최신 트렌드이다. 지난 몇년간 딥러닝은 다양한 응용분야에서 막대한 모멘텀과 우세함을 얻게 되었다. 이러한 응용분야는 이미지와 음성 인식, 자율주행차, 자연어 처리 등 다양하다. 흥미롭게도 딥러닝의 대다수의 수학 컨셉은 수십년간에 걸쳐 알려져 왔다. 그러나, 이들은 딥러닝의 잠재력을 촉발시킨 최근의 발전에 의한 것이었다 (Nair and Hinton 2010;..