Scientific Computing & Data Science

by Geol Choi | Jun. 22, 2017이번 포스팅에서는 Windows OS 환경에서 R과 Python에 MXNet을 설치하는 방법에 대하여 알아보도록 한다.본 개발 환경은 필자가 구동하는 환경인 Windows 7 64 bit에서 구축한 것이지만, 동일한 방법은 Windows 8이나 10에서도 가능하리라 생각된다.R현재 MXNet은 CRAN 패키지를 제공하지 않는다. 하지만, MXNet 깃허브 페이지에 단 3줄의 코드로 설치 방법이 설명되어 있으며, 다른 언어들에 비해 R에서의 설치는 매우 쉬운 편이다.123install.packages("drat", repos="https://cran.rstudio.com")drat:::addRepo("dmlc")install.packages("mxnet")..

by Geol Choi | Jun. 3, 2017 이번 포스팅에서는 지난 포스팅에 이어 역전파(Backpropagation)에 대해 간단한 예제를 통해 좀 더 쉽게, 그리고 딥러닝 예제를 통해 실질적으로 어떻게 작동하는지 자세히 알아보도록 하겠다.Simple Example아래 이미지와 같은 실수값 회로(Circuit)이 있다고 가정해 보자. 입력(Input)은 x, y, z 인데 주어진 값은 각각 3, -1, 8이다. 함수 p, q, f는 각각 다음과 같다: \(p=x+y\), \(q=p+z\), \(f=\mathrm{exp}(q)\) 따라서, 이 회로에 의한 Forward-pass 과정은 다음과 같으며,(1) \(p \leftarrow x+y\)(2) \(q \leftarrow p*z\)(3) \(f ..

Machine Learning APIs by Example (Google Cloud Next '17)

by Geol Choi | May 6, 2017이번 포스팅에서는 딥러닝 알고리즘에서 Weights를 업데이트하는 중요한 요소들 중 하나인 역전파(Backpropagation)에 대해 알아보도록 한다.개요다음과 같이 2-레이어 신경망(2-Layer Neural Network)를 예로 들어보자.그림 1. 2-레이어 신경망그림 1.은 Fully Connected 2-레이어 신경망의 예이며, x는 입력(Input), h는 은닉 레이어(Hidden Layer), y는 출력(Output)을 의미한다. 입력-은닉 레이어, 은닉 레이어-출력을 연결하는 선들은 가중치 합(Weighted Sum)을 위한 각각의 가중치, w를 의미한다. 또한 \(b_i\)는 Input → Hidden Layer의 바이어스(Bias)를, \..

by Geol Choi | Apr. 20, 2017Contents1. 소개 2. R의 딥러닝 패키지들 3. "MXNetR" 패키지 4. "darch" 패키지 5. "deepnet" 패키지 6. "H2O" 패키지 7. "deepr" 패키지 8. 패키지 비교 9. 결론 10. 참고 1. 소개딥러닝은 데이터를 고도의 비선형 모델링을 할 수 있는 머신러닝의 최신 트렌드이다. 지난 몇년간 딥러닝은 다양한 응용분야에서 막대한 모멘텀과 우세함을 얻게 되었다. 이러한 응용분야는 이미지와 음성 인식, 자율주행차, 자연어 처리 등 다양하다. 흥미롭게도 딥러닝의 대다수의 수학 컨셉은 수십년간에 걸쳐 알려져 왔다. 그러나, 이들은 딥러닝의 잠재력을 촉발시킨 최근의 발전에 의한 것이었다 (Nair and Hinton 2010;..

by Geol Choi | April 11, 2017 지난 포스팅에 이어 R-TensorFlow 세번째 예제로 Linear Regression을 구현하는 방법에 대하여 알아보기로 한다. TensorFlow 라이브러리 로딩하기지난 포스팅의 예제들과 마찬가지로 가장 먼저 할 일은, TensorFlow 라이브러리를 로딩하는 것이다. 이 외에도 Linear Regression을 시각화 하기 위해 plotly 라이브러리도 로딩하도록 한다: R CODE:# import library if (! ("plotly" %in% rownames(installed.packages()))) { install.packages("plotly") } library(plotly) if (! ("tensorflow" %in% rowna..

by Geol Choi | April 11, 2017 지난 포스팅에 이어 R-TensorFlow 두번째 예제로 기본 오퍼레이션(Basic Operation)에 대하여 알아보도록 한다. 이번 예제는 TensorFlow의 중요한 기본 개념을 이해하는데 큰 도움이 되는 예제라고 생각이 드는 만큼 잘 이해하길 바란다. TensorFlow 라이브러리 불러오기TensorFlow 패키지가 현재 환경에 설치 되어있는지 확인하고 만약 설치되어 있지 않으면 설치하고, 해당 패키지 라이브러리를 로딩한다: R CODE:# import library if (! ("tensorflow" %in% rownames(installed.packages()))) { install.packages("tensorflow") } base::l..

by Geol Choi | April 11, 2017 이번 시리즈부터 R-TensorFlow 예제를 하나씩 정리해 나가기로 한다. 만약 R에 TensorFlow 개발 환경이 구축되어 있지 않다면 R에서 TensorFlow 개발환경 구축하기을 참고하기 바란다.이번 포스팅은 모든 프로그램 예제 중의 예제 HelloWorld의 R-TensorFlow 버전이다.이 예제는 단순히 화면에 "Hello, TensorFlow!"를 출력한다. TensorFlow 라이브러리 로딩하기TensorFlow 패키지가 현재 환경에 설치 되어있는지 확인하고 만약 설치되어 있지 않으면 설치하고, 해당 패키지 라이브러리를 로딩한다: R CODE:# import library if (! ("tensorflow" %in% rownames(..

이번 포스팅에서는 머신러닝의 분류에 대하여 정리해 보기로 한다.머신러닝의 목적은 인간이 개입하지 않고 컴퓨터가 어떠한 일을 수행할 수 있도록 학습시키는 것이다. 유전학, 사회관계망, 광고, 위험분석 등과 같은 응용분야의 증가에 따라 프로세스, 고객, 조직에 필요한 정보 추출하 또는 인사이트 제공을 위한 엄청난 양의 데이터를 분석할 수 있는 데이터가 생성되고 있다. 궁극적으로 머신러은 모델을 세우고 평가를 위해 과거, 현재 미래의 데이터를 이용하여 성능 조건을 최적화하는 알고리즘으로 구성된다. 1. Unsupervised Learning (비지도 학습)비지도 학습의 목표는 어떠한 관찰 데이터 집합에 대한 일정한 규칙성과 불규칙성을 발견해 내는 것이다. 통계학에서 Density Estimation으로 알려진..

by Geol Choi | April 1, 2017 이번 포스팅에서는 R에서 h2o(https://www.h2o.ai) 라이브러리를 이용하여 MNIST 손글씨 숫자(Hand-written Digits) 이미지 데이터세트에 대하여 딥러닝 CNN(Convolutional Neural Network)을 통하여 학습을 시키고, 학습된 결과를 기반으로 테스트 데이터세트에 대하여 인식률을 계산해 보도록 하겠다. MNIST 데이터세트는 NIST라는 표준 참고용 데이터 중 일부로서 총 60,000개의 학습용 데이터세트와 10,000개의 테스트용 데이터세트로 구성된다. MNIST 데이터세트는 NIST의 오리지널 흑백 이미지를 20×20 픽셀 크기로 정규화 한 것이다. 결과 이미지들은 정규화 알고리즘을 이용하여 안티앨리어..