Scientific Computing & Data Science

by Geol Choi | Jun. 22, 2017MXNet은 Caffe, CNTK, TensorFlow, Theano, Torch, H2O 등과 같은 딥러닝 프레임워크 중 하나이다.눈 여결 볼 것 중 하나는, AWS(Amazon Web Services)이 MXNet을 지원하게 되었는데 그 이유가 이 들 딥러닝 프레임워크 중 가장 확장 가능한(Scalable) 프레임워크라는 이유에서이다. 확장 가능하다는 것은, 계산 속도나 메모리 용량을 늘리기 위해 다중의 CPU 또는 GPU 활용하거나 컴퓨팅 머신을 자유자재로 늘릴 수 있다는 뜻이다. 또한 MXNet은 다양한 플랫폼을 지원하는데, 지원하는 플랫폼 종류에 대해서는 아래에 정리하여 살펴보도록 하겠다.딥러닝 프레임워크를 선택하는 기준?위에 언급한 딥러닝 프레..

by Geol Choi | Jun. 3, 2017 이번 포스팅에서는 지난 포스팅에 이어 역전파(Backpropagation)에 대해 간단한 예제를 통해 좀 더 쉽게, 그리고 딥러닝 예제를 통해 실질적으로 어떻게 작동하는지 자세히 알아보도록 하겠다.Simple Example아래 이미지와 같은 실수값 회로(Circuit)이 있다고 가정해 보자. 입력(Input)은 x, y, z 인데 주어진 값은 각각 3, -1, 8이다. 함수 p, q, f는 각각 다음과 같다: \(p=x+y\), \(q=p+z\), \(f=\mathrm{exp}(q)\) 따라서, 이 회로에 의한 Forward-pass 과정은 다음과 같으며,(1) \(p \leftarrow x+y\)(2) \(q \leftarrow p*z\)(3) \(f ..

by Geol Choi | Apr. 20, 2017Contents1. 소개 2. R의 딥러닝 패키지들 3. "MXNetR" 패키지 4. "darch" 패키지 5. "deepnet" 패키지 6. "H2O" 패키지 7. "deepr" 패키지 8. 패키지 비교 9. 결론 10. 참고 1. 소개딥러닝은 데이터를 고도의 비선형 모델링을 할 수 있는 머신러닝의 최신 트렌드이다. 지난 몇년간 딥러닝은 다양한 응용분야에서 막대한 모멘텀과 우세함을 얻게 되었다. 이러한 응용분야는 이미지와 음성 인식, 자율주행차, 자연어 처리 등 다양하다. 흥미롭게도 딥러닝의 대다수의 수학 컨셉은 수십년간에 걸쳐 알려져 왔다. 그러나, 이들은 딥러닝의 잠재력을 촉발시킨 최근의 발전에 의한 것이었다 (Nair and Hinton 2010;..

by Geol Choi | April 11, 2017 지난 포스팅에 이어 R-TensorFlow 세번째 예제로 Linear Regression을 구현하는 방법에 대하여 알아보기로 한다. TensorFlow 라이브러리 로딩하기지난 포스팅의 예제들과 마찬가지로 가장 먼저 할 일은, TensorFlow 라이브러리를 로딩하는 것이다. 이 외에도 Linear Regression을 시각화 하기 위해 plotly 라이브러리도 로딩하도록 한다: R CODE:# import library if (! ("plotly" %in% rownames(installed.packages()))) { install.packages("plotly") } library(plotly) if (! ("tensorflow" %in% rowna..

이번 포스팅에서는 머신러닝의 분류에 대하여 정리해 보기로 한다.머신러닝의 목적은 인간이 개입하지 않고 컴퓨터가 어떠한 일을 수행할 수 있도록 학습시키는 것이다. 유전학, 사회관계망, 광고, 위험분석 등과 같은 응용분야의 증가에 따라 프로세스, 고객, 조직에 필요한 정보 추출하 또는 인사이트 제공을 위한 엄청난 양의 데이터를 분석할 수 있는 데이터가 생성되고 있다. 궁극적으로 머신러은 모델을 세우고 평가를 위해 과거, 현재 미래의 데이터를 이용하여 성능 조건을 최적화하는 알고리즘으로 구성된다. 1. Unsupervised Learning (비지도 학습)비지도 학습의 목표는 어떠한 관찰 데이터 집합에 대한 일정한 규칙성과 불규칙성을 발견해 내는 것이다. 통계학에서 Density Estimation으로 알려진..

by Geol Choi | April 1, 2017 이번 포스팅에서는 R에서 h2o(https://www.h2o.ai) 라이브러리를 이용하여 MNIST 손글씨 숫자(Hand-written Digits) 이미지 데이터세트에 대하여 딥러닝 CNN(Convolutional Neural Network)을 통하여 학습을 시키고, 학습된 결과를 기반으로 테스트 데이터세트에 대하여 인식률을 계산해 보도록 하겠다. MNIST 데이터세트는 NIST라는 표준 참고용 데이터 중 일부로서 총 60,000개의 학습용 데이터세트와 10,000개의 테스트용 데이터세트로 구성된다. MNIST 데이터세트는 NIST의 오리지널 흑백 이미지를 20×20 픽셀 크기로 정규화 한 것이다. 결과 이미지들은 정규화 알고리즘을 이용하여 안티앨리어..

Written by Geol Choi | Mar. 26, 2017 이번 포스팅에서는 자기조직화맵(Self-Organising Map; SOM)에 대하여 기본 이론, 특성, R을 이용한 구현하는 방법에 대하여 알아보도록 하겠습니다. 이론적 배경SOM 또는 SOFM(Self-Organising Feature Map)은 인공신경망(Artificial Neural Network; ANN)의 한 종류로서 기본 개념은 1980년대 핀란드 교수인 Teuvo Kohonen이 제안한 Kohonen Network에 근간을 두고 있습니다.SOM이 ANN의 한 종류이기는 하지만 "표준" ANN과는 구별되는 몇가지 특징들이 있습니다. 그 차이는 다음과 같습니다: (1) 표준 ANN은 연속적인 레이어들로 구성되는 반면, SOM은..

알고리즘은 우리의 직업을 빼앗을 것인가? 그렇다, 정말 그렇다... 그런데 이것은 좋은 것이다.알고리즘은 문제를 풀고 목표를 달성을 돕는 규칙이 있는 과정의 연속물이다. 또한 이러한 과정과 규칙을 구조화 할 때 즉각적으로 인공지능(Artificial Intelligence; A.I.)을 구현하기 위한 알고리즘을 자동화하는 것이 가능하다. 이것이 우리의 과중한 분석 업무를 돕는 인공지능이며 이로써 우리는 우리가 본래의 업무에 충실할 수 있게 된다.인공지능는 우리의 직업, 업무 스타일, 비즈니스 문화를 바꾸고 있다. 인공지능은 우리가 인간 본연의 일인 핵심 문제에 집중할 수 있도록 돕는다. 그러나 일터에서 인공지능을 이용하는 것은 단순하지 않다. 인공지능을 구현하기 위한 알고리즘의 수준은 천차만별이며 이들은..

본 포스팅에서는 머신러닝과 관련 핵심용어에 대한 설명을 하도록 한다.1. 머신러닝 (Machine Learning; ML)Mitchell에 따르면, ML은 "경험에 의해 자동으로 개선되는 컴퓨터 프로그램을 어떻게 구현할 것인가"와 관련이 깊다. ML은 자연적으로 여러 분야에 걸쳐있으며, 컴퓨터 과학, 통계, 인공지능 및 기타 분야의 다양한 기술을 도입한다. ML 연구의 주요 성과물은 경험으로부터 자동 개선을 가능하게 하는 알고리즘, 컴퓨터 비전, 인공지능, 데이터 마이닝(Data Mining)과 같은 분야 적용할 수 있는 알고리즘 등이다.2. 분류 (Classification)분류는 데이터를 정해진 카테고리에 지정하는 모델을 구축하는 것과 관련이 깊다. 이 모델들은 알고리즘이 학습할 수 있도록 미리 라벨..

by Geol Choi | March 12, 2014 지난 포스팅에서 R에서 TensorFlow 개발환경 구축에 대하여 설명한 바 있다.R에서 TensorFlow 개발환경 구축에 성공하였다면, 간단한 예제를 실행해 보도록 하자. 패키지 라이브러리 로딩하기TensorFlow 패키지 라이브러리와 Plotting을 위해 plotly 패키지 라이브러를 로딩한다: ## load necessary library packages if (! ("tensorflow" %in% rownames(installed.packages()))) { install.packages("tensorflow") } library(tensorflow) if (! ("plotly" %in% rownames(installed.packages()..