Scientific Computing & Data Science

Written by Geol Choi | Sep. 30, 2017 이번 포스팅은 교차검증에 대한 간단한 개념만 설명합니다.개요머신러닝 모델을 설계하다보면 설계에 필요한 파라미터들이 있습니다. 즉, 모델의 동작을 위해 결정되어야 할 파라미터들인데 이 파라미터들에 의해 모델 성능이 크게 영향을 받는 경우가 많습니다. 이렇게 머신러닝 모델을 설계하기 위해 필요한 파라미터들을 Hyperparameters라고 합니다. 사실 Hyperparameters를 정하는 것은 여간 까다로운 일이 아닙니다. 왜냐하면 정해야 할 파라미터가 1~2개라면 큰 문제가 없겠지만 파라미터가 1개씩 추가될 때마다 검증의 복잡도는 기하급수적으로 증가하기 때문입니다. 게다가 각 Hyperparameter에 대하여 범위를 어떻게 정해야 하며 ..

Written by Geol Choi | Sep. 14, 2017 지난 6월 Google Research Blog에 "Supercharge your Computer Vision models with the TensorFlow Object Detection API"라는 제목으로 상당히 흥미로운 아티클이 소개되었습니다. 요는, Google이 개발 중이던 In-house Object Detection System이 괄목할만한 결과를 얻었고 COCO Detection Challenge라는 사물인식 경진대회에서 1등을 먹었는데, 이 결과물을 TensorFlow Object Detection API를 제공하여 TensorFlow에서 사용할 수 있도록 하였다는 것입니다. 가장 중요한 것은, 단일 이미지 내에서 다중의..

Written by Geol Choi | Sep. 10, 2017 이번 포스팅에서는 TensorFlow를 이용한 Autoencoder 문제를 다루어 보도록 하겠습니다. TensorFlow에 대한 예제를 설명하기 위한 포스팅이므로 이론에 대한 자세한 설명은 생략하며 대략적인 이론적 개념만 짚고 넘어가겠습니다. 자세한 이론은 아래의 웹사이트, 블로그 및 논문을 참고하시면 많은 정보를 얻으실 수 있을 것입니다:Wikipedia - AutoencoderAutoencoders, Unsupervised Learning, and Deep ArchitecturesTutorial - What is variational autoencoder?UFLDL TutorialWikidocs - Introduction to Auto..

Written by Geol Choi | Aug. 4, 2017 부제목: 인공신경망 처절하게 제대로 이해하기 지난 포스팅에서 R에서 딥러닝을 바닥부터(from scratch) 구현하는 방법에 대해 개괄적으로 살펴본 적이 있는데, 이번 포스팅에서는 코드를 자세하게 분석하면서 수학적으로 과정을 풀어보고자 합니다.1. 데이터 준비딥러닝 코드를 작성하기 위해 테스트 용도의 데이터로 iris 데이터셋을 사용할 것입니다. iris는 일종의 꽃을 꽃받침 및 꽃잎의 폭과 길이 등으로 분류한 데이터입이며, R의 기본 패키지에 포함이 되어 있습니다. 대략적인 데이터의 형태는 다음과 같습니다: > head(iris) Sepal.Length Sepal.Width Petal.Length Petal.Width Species 1 ..

Written by Geol Choi | Aug. 2, 2017 TensorFlow를 이용한 학습을 통해 예측 모델을 생성한 후 추후 이 모델을 다시 사용하기 위해 결과를 저장할 필요가 있습니다. (저장하지 않는다면 매번 학습을 다시 해야하기 때문이죠! 이것은 분명 시간 낭비입니다.) 그래서 이번 포스팅에서는 학습이 완료된 결과 모델과 변수를 어떻게 저장하는지 그리고 저장된 결과를 어떻게 복구하는지 알아보는 시간을 갖도록 하겠습니다. 테스트 환경은 R이지만, Python도 (문법은 아주 약간 다르지만) 동일한 로직으로 동작하니 Python 문법으로 작성 시에도 참고하면 도움이 되리라 생각됩니다.→ 사실 R에서의 TensorFlow는 Python-TensorFlow의 인터페이스에 불과합니다. 그럼에도 R을..

Written by Geol Choi | Jul. 31, 2017 [목차]1. 필요한 패키지 로딩2. MNIST 데이터세트 임포트3. 학습 파라미터 정의4. 네트워크 파라미터 정의5. placeholder 변수 설정6. 네트워크 변수 정의 및 초기화7. 네트워크 모델 구성8. 손실함수와 옵티마이저 정의9. 변수 및 세션 초기화10. 학습11. 학습된 모델 평가12. 정확도 계산13. 결과 그래프 출력14. 전체 코드15. 맺음말 이번 포스팅에서는 MNIST 손글씨 숫자(Hand-written Digits) 데이터세트를 활용하여 TensorFlow에서 Multilayer Perceptron(MLP) 또는 Feedforward Neural Networks를 구현하는 방법에 대해 알아보도록 하겠습니다. MLP..

Written by Geol Choi | Jul. 15, 2017 이번 포스팅에서는 회선신경망(Convolutional Neural Network; CNN)을 이용하여 손글씨 숫자를 학습시키는 코드를 Pytnon과 R 각각에 대하여 TensorFlow에서 어떻게 구현할 수 있는지 알아보도록 한다. [목차] 1. Python-TensorFlow 2. R-TensorFlow 2.1. 라이브러리 패키지 불러오기 2.2. 입력 데이터 준비 2.3. 파라미터 정의 2.4. weights & biases 변수 정의 2.5. placeholder 변수 정의 2.6. conv2d 함수 정의 2.7. maxpool2d 함수 정의 2.8. conv_net 함수 정의 2.9. 모델 세우기 2.10. 손실함수 및 Optimi..

by Geol Choi | Jul. 9, 2017 [목차] 1. 구현순서 2. Python-TensorFlow 3. R-TensorFlow 이번 포스팅에서는 Softmax Classsification이라고 불리우는 Logistic Regression을 방법을 이용하여 손글씨 숫자(Handwritten Digits)를 분류하는 TensorFlow 코드를 Python과 R에서 구현해 보도록 한다. 이와 관련된 TensorFlow의 페이지를 참고하면 이해하는데 큰 도움이 될 것이다.1. 구현순서TensorFlow의 구현순서가 딱히 정해진 것은 아니지만 구현을 위한 충분한 가이드라인이 될 수 있으리라 생각된다. 2. Python-TensorFlow2.1. 라이브러리 불러오기TensorFlow 라이브러리(tens..

by Geol Choi | Jul. 2, 2017 이번 포스팅에서는 회선신경망(Convolutional Neural Network; CNN)의 ConvNet 구조의 Conv 레이어 사이에서 이미지의 사이즈를 줄임으로써 파라미터 개수와 계산 시간을 줄이기 위한 방법으로 사용되는 풀링(Pooling)에 대해 알아보도록 한다. [이미지 출처: CS231n Convolutional Neural Networks for Visual Recognition] Theory특히 많은 양의 픽셀을 갖는 복잡한 딥러닝 문제에 있어 CNN의 계산속도를 향상시키기 위해 CNN 구조에 Pooling Layer를 포함시킨다. 풀링은 회선 레이어(Convolutional Layer)에서 이미지의 크기와 해상도를 점차 줄여나가면서 계산..

by Geol Choi | Jun. 26, 2017 이번 포스팅에서는 R에서 MXNet 딥러닝 프레임워크를 활용하여 간단한 Classification 문제를 풀어보도록 한다.만약 R에서 MXNet 개발환경을 처음으로 구축하고자 한다면 여기를 참고하도록 한다. MXNet 개발환경 설정이 모두 완료되면, MXNet 라이브러리를 로딩한다: 1234############################################################ load libraries###########################################################base::require(mxnet)Colored by Color Scriptercs 이제 데이터를 준비해야 하는데, R에 빌트인..