Scientific Computing & Data Science

Written by Geol Choi | Sep. 30, 2017 이번 포스팅은 교차검증에 대한 간단한 개념만 설명합니다.개요머신러닝 모델을 설계하다보면 설계에 필요한 파라미터들이 있습니다. 즉, 모델의 동작을 위해 결정되어야 할 파라미터들인데 이 파라미터들에 의해 모델 성능이 크게 영향을 받는 경우가 많습니다. 이렇게 머신러닝 모델을 설계하기 위해 필요한 파라미터들을 Hyperparameters라고 합니다. 사실 Hyperparameters를 정하는 것은 여간 까다로운 일이 아닙니다. 왜냐하면 정해야 할 파라미터가 1~2개라면 큰 문제가 없겠지만 파라미터가 1개씩 추가될 때마다 검증의 복잡도는 기하급수적으로 증가하기 때문입니다. 게다가 각 Hyperparameter에 대하여 범위를 어떻게 정해야 하며 ..

by Geol Choi | Jul. 2, 2017 이번 포스팅에서는 회선신경망(Convolutional Neural Network; CNN)의 ConvNet 구조의 Conv 레이어 사이에서 이미지의 사이즈를 줄임으로써 파라미터 개수와 계산 시간을 줄이기 위한 방법으로 사용되는 풀링(Pooling)에 대해 알아보도록 한다. [이미지 출처: CS231n Convolutional Neural Networks for Visual Recognition] Theory특히 많은 양의 픽셀을 갖는 복잡한 딥러닝 문제에 있어 CNN의 계산속도를 향상시키기 위해 CNN 구조에 Pooling Layer를 포함시킨다. 풀링은 회선 레이어(Convolutional Layer)에서 이미지의 크기와 해상도를 점차 줄여나가면서 계산..

by Geol Choi | Jun. 3, 2017 이번 포스팅에서는 지난 포스팅에 이어 역전파(Backpropagation)에 대해 간단한 예제를 통해 좀 더 쉽게, 그리고 딥러닝 예제를 통해 실질적으로 어떻게 작동하는지 자세히 알아보도록 하겠다.Simple Example아래 이미지와 같은 실수값 회로(Circuit)이 있다고 가정해 보자. 입력(Input)은 x, y, z 인데 주어진 값은 각각 3, -1, 8이다. 함수 p, q, f는 각각 다음과 같다: \(p=x+y\), \(q=p+z\), \(f=\mathrm{exp}(q)\) 따라서, 이 회로에 의한 Forward-pass 과정은 다음과 같으며,(1) \(p \leftarrow x+y\)(2) \(q \leftarrow p*z\)(3) \(f ..

by Geol Choi | May 6, 2017이번 포스팅에서는 딥러닝 알고리즘에서 Weights를 업데이트하는 중요한 요소들 중 하나인 역전파(Backpropagation)에 대해 알아보도록 한다.개요다음과 같이 2-레이어 신경망(2-Layer Neural Network)를 예로 들어보자.그림 1. 2-레이어 신경망그림 1.은 Fully Connected 2-레이어 신경망의 예이며, x는 입력(Input), h는 은닉 레이어(Hidden Layer), y는 출력(Output)을 의미한다. 입력-은닉 레이어, 은닉 레이어-출력을 연결하는 선들은 가중치 합(Weighted Sum)을 위한 각각의 가중치, w를 의미한다. 또한 \(b_i\)는 Input → Hidden Layer의 바이어스(Bias)를, \..

by Geol Choi | Apr. 20, 2017Contents1. 소개 2. R의 딥러닝 패키지들 3. "MXNetR" 패키지 4. "darch" 패키지 5. "deepnet" 패키지 6. "H2O" 패키지 7. "deepr" 패키지 8. 패키지 비교 9. 결론 10. 참고 1. 소개딥러닝은 데이터를 고도의 비선형 모델링을 할 수 있는 머신러닝의 최신 트렌드이다. 지난 몇년간 딥러닝은 다양한 응용분야에서 막대한 모멘텀과 우세함을 얻게 되었다. 이러한 응용분야는 이미지와 음성 인식, 자율주행차, 자연어 처리 등 다양하다. 흥미롭게도 딥러닝의 대다수의 수학 컨셉은 수십년간에 걸쳐 알려져 왔다. 그러나, 이들은 딥러닝의 잠재력을 촉발시킨 최근의 발전에 의한 것이었다 (Nair and Hinton 2010;..

이번 포스팅에서는 머신러닝의 분류에 대하여 정리해 보기로 한다.머신러닝의 목적은 인간이 개입하지 않고 컴퓨터가 어떠한 일을 수행할 수 있도록 학습시키는 것이다. 유전학, 사회관계망, 광고, 위험분석 등과 같은 응용분야의 증가에 따라 프로세스, 고객, 조직에 필요한 정보 추출하 또는 인사이트 제공을 위한 엄청난 양의 데이터를 분석할 수 있는 데이터가 생성되고 있다. 궁극적으로 머신러은 모델을 세우고 평가를 위해 과거, 현재 미래의 데이터를 이용하여 성능 조건을 최적화하는 알고리즘으로 구성된다. 1. Unsupervised Learning (비지도 학습)비지도 학습의 목표는 어떠한 관찰 데이터 집합에 대한 일정한 규칙성과 불규칙성을 발견해 내는 것이다. 통계학에서 Density Estimation으로 알려진..

본 포스팅에서는 머신러닝과 관련 핵심용어에 대한 설명을 하도록 한다.1. 머신러닝 (Machine Learning; ML)Mitchell에 따르면, ML은 "경험에 의해 자동으로 개선되는 컴퓨터 프로그램을 어떻게 구현할 것인가"와 관련이 깊다. ML은 자연적으로 여러 분야에 걸쳐있으며, 컴퓨터 과학, 통계, 인공지능 및 기타 분야의 다양한 기술을 도입한다. ML 연구의 주요 성과물은 경험으로부터 자동 개선을 가능하게 하는 알고리즘, 컴퓨터 비전, 인공지능, 데이터 마이닝(Data Mining)과 같은 분야 적용할 수 있는 알고리즘 등이다.2. 분류 (Classification)분류는 데이터를 정해진 카테고리에 지정하는 모델을 구축하는 것과 관련이 깊다. 이 모델들은 알고리즘이 학습할 수 있도록 미리 라벨..

모두에게 개방하는 딥러닝명시적인 프로그래밍을 하지 않고 컴퓨터가 학습하도록 하는 머신러닝은 통상적으로 수학자들과 프로그래머들만이 할 수 있는 마법으로 여겨져 왔다. 한 동안 그래왔는데 그에 대해서는 여러가지 이유가 있다.코딩을 할 줄 알아야 할뿐더러 강력한 수학적 스킬이 요구되기 때문이다. 돌아갈 방법은 없지만 완전한 수학적 배경없이도 의미있는 많은 일을 할 수 있다.나는 미래에 우리의 어플리케이션을 보다 스마트하게 만들기 위해 프로그래밍을 하는 우리 모두가 어떤 형태의 딥러닝에 기여하는 과정이라고 믿는다.피쳐 엔지니어링 (Feature Engineering)보통 머신러닝을 위해 컴퓨터가 이해할 수 있는 데이터를 컴퓨터에게 공급해야 한다. 이것은 많은 행과 열로 구성되는 대규모의 스프레드시트 형태로 데이..