Scientific Computing & Data Science

Written by Geol Choi | Aug. 30, 2017 최근 Continuum Anaconda가 4.4.0으로 강제(?) 업그레이드 되면서 그 동안 잘 돌아가던 GPU Support TensorFlow가 동작하지 않는 현상이 발생하였습니다 (물론 Anaconda 환경에서 CPU 기반 TensorFlow는 잘 동작하고 있습니다). Ananconda 4.4.0으로 업그레이드 후 기존에 해왔던대로, TensorFlow 공식 블로그의 "Installing TensorFlow on Windows"를 참고하여 Anaconda Prompt에서 다음 절차대로 GPU 지원 TensorFlow를 설치해 보았습니다. Installing with AnacondaThe Anaconda installation is c..

Written by Geol Choi | Aug. 4, 2017 부제목: 인공신경망 처절하게 제대로 이해하기 지난 포스팅에서 R에서 딥러닝을 바닥부터(from scratch) 구현하는 방법에 대해 개괄적으로 살펴본 적이 있는데, 이번 포스팅에서는 코드를 자세하게 분석하면서 수학적으로 과정을 풀어보고자 합니다.1. 데이터 준비딥러닝 코드를 작성하기 위해 테스트 용도의 데이터로 iris 데이터셋을 사용할 것입니다. iris는 일종의 꽃을 꽃받침 및 꽃잎의 폭과 길이 등으로 분류한 데이터입이며, R의 기본 패키지에 포함이 되어 있습니다. 대략적인 데이터의 형태는 다음과 같습니다: > head(iris) Sepal.Length Sepal.Width Petal.Length Petal.Width Species 1 ..

Written by Geol Choi | Aug. 2, 2017 TensorFlow를 이용한 학습을 통해 예측 모델을 생성한 후 추후 이 모델을 다시 사용하기 위해 결과를 저장할 필요가 있습니다. (저장하지 않는다면 매번 학습을 다시 해야하기 때문이죠! 이것은 분명 시간 낭비입니다.) 그래서 이번 포스팅에서는 학습이 완료된 결과 모델과 변수를 어떻게 저장하는지 그리고 저장된 결과를 어떻게 복구하는지 알아보는 시간을 갖도록 하겠습니다. 테스트 환경은 R이지만, Python도 (문법은 아주 약간 다르지만) 동일한 로직으로 동작하니 Python 문법으로 작성 시에도 참고하면 도움이 되리라 생각됩니다.→ 사실 R에서의 TensorFlow는 Python-TensorFlow의 인터페이스에 불과합니다. 그럼에도 R을..

Written by Geol Choi | Jul. 31, 2017 [목차]1. 필요한 패키지 로딩2. MNIST 데이터세트 임포트3. 학습 파라미터 정의4. 네트워크 파라미터 정의5. placeholder 변수 설정6. 네트워크 변수 정의 및 초기화7. 네트워크 모델 구성8. 손실함수와 옵티마이저 정의9. 변수 및 세션 초기화10. 학습11. 학습된 모델 평가12. 정확도 계산13. 결과 그래프 출력14. 전체 코드15. 맺음말 이번 포스팅에서는 MNIST 손글씨 숫자(Hand-written Digits) 데이터세트를 활용하여 TensorFlow에서 Multilayer Perceptron(MLP) 또는 Feedforward Neural Networks를 구현하는 방법에 대해 알아보도록 하겠습니다. MLP..

Written by Geol Choi | Jul. 15, 2017 이번 포스팅에서는 회선신경망(Convolutional Neural Network; CNN)을 이용하여 손글씨 숫자를 학습시키는 코드를 Pytnon과 R 각각에 대하여 TensorFlow에서 어떻게 구현할 수 있는지 알아보도록 한다. [목차] 1. Python-TensorFlow 2. R-TensorFlow 2.1. 라이브러리 패키지 불러오기 2.2. 입력 데이터 준비 2.3. 파라미터 정의 2.4. weights & biases 변수 정의 2.5. placeholder 변수 정의 2.6. conv2d 함수 정의 2.7. maxpool2d 함수 정의 2.8. conv_net 함수 정의 2.9. 모델 세우기 2.10. 손실함수 및 Optimi..

by Geol Choi | Jul. 9, 2017 [목차] 1. 구현순서 2. Python-TensorFlow 3. R-TensorFlow 이번 포스팅에서는 Softmax Classsification이라고 불리우는 Logistic Regression을 방법을 이용하여 손글씨 숫자(Handwritten Digits)를 분류하는 TensorFlow 코드를 Python과 R에서 구현해 보도록 한다. 이와 관련된 TensorFlow의 페이지를 참고하면 이해하는데 큰 도움이 될 것이다.1. 구현순서TensorFlow의 구현순서가 딱히 정해진 것은 아니지만 구현을 위한 충분한 가이드라인이 될 수 있으리라 생각된다. 2. Python-TensorFlow2.1. 라이브러리 불러오기TensorFlow 라이브러리(tens..

by Geol Choi | Jul. 8, 2017 이번 포스팅에서는 다중변수 선형 회귀(Multi-variable Linear Regression 또는 Multiple Linear Regression) 모델에 대한 간단한 이론과 이를 TensorFlow를 이용하여 최적화 문제로 풀고 결과를 비교해 보도록 하겠다.1. Theory by Example 1.1. Dataset - IQ와 신체적 특성과의 관계지능지수에 관하여 많은 사람들이 궁금해하는 것이 있다: "과연 뇌의 크기와 지능지수와의 상관성이 있을까? 있다면, 뇌의 크기로 지능지수를 유추할 수 있을까?" 이 질문에 답을 하기 위하여 몇몇 연구자들(Willerman, et al, 1991)은 38명의 대학생들을 상대로 뇌의 신체적 특성과 IQ를 조사하였..

by Geol Choi | Jul. 2, 2017 이번 포스팅에서는 회선신경망(Convolutional Neural Network; CNN)의 ConvNet 구조의 Conv 레이어 사이에서 이미지의 사이즈를 줄임으로써 파라미터 개수와 계산 시간을 줄이기 위한 방법으로 사용되는 풀링(Pooling)에 대해 알아보도록 한다. [이미지 출처: CS231n Convolutional Neural Networks for Visual Recognition] Theory특히 많은 양의 픽셀을 갖는 복잡한 딥러닝 문제에 있어 CNN의 계산속도를 향상시키기 위해 CNN 구조에 Pooling Layer를 포함시킨다. 풀링은 회선 레이어(Convolutional Layer)에서 이미지의 크기와 해상도를 점차 줄여나가면서 계산..

by Geol Choi | Jun. 26, 2017 이번 포스팅에서는 R에서 MXNet 딥러닝 프레임워크를 활용하여 간단한 Classification 문제를 풀어보도록 한다.만약 R에서 MXNet 개발환경을 처음으로 구축하고자 한다면 여기를 참고하도록 한다. MXNet 개발환경 설정이 모두 완료되면, MXNet 라이브러리를 로딩한다: 1234############################################################ load libraries###########################################################base::require(mxnet)Colored by Color Scriptercs 이제 데이터를 준비해야 하는데, R에 빌트인..

by Geol Choi | Jun. 22, 2017MXNet은 Caffe, CNTK, TensorFlow, Theano, Torch, H2O 등과 같은 딥러닝 프레임워크 중 하나이다.눈 여결 볼 것 중 하나는, AWS(Amazon Web Services)이 MXNet을 지원하게 되었는데 그 이유가 이 들 딥러닝 프레임워크 중 가장 확장 가능한(Scalable) 프레임워크라는 이유에서이다. 확장 가능하다는 것은, 계산 속도나 메모리 용량을 늘리기 위해 다중의 CPU 또는 GPU 활용하거나 컴퓨팅 머신을 자유자재로 늘릴 수 있다는 뜻이다. 또한 MXNet은 다양한 플랫폼을 지원하는데, 지원하는 플랫폼 종류에 대해서는 아래에 정리하여 살펴보도록 하겠다.딥러닝 프레임워크를 선택하는 기준?위에 언급한 딥러닝 프레..