Scientific Computing & Data Science

by Geol Choi | Jun. 3, 2017 이번 포스팅에서는 지난 포스팅에 이어 역전파(Backpropagation)에 대해 간단한 예제를 통해 좀 더 쉽게, 그리고 딥러닝 예제를 통해 실질적으로 어떻게 작동하는지 자세히 알아보도록 하겠다.Simple Example아래 이미지와 같은 실수값 회로(Circuit)이 있다고 가정해 보자. 입력(Input)은 x, y, z 인데 주어진 값은 각각 3, -1, 8이다. 함수 p, q, f는 각각 다음과 같다: \(p=x+y\), \(q=p+z\), \(f=\mathrm{exp}(q)\) 따라서, 이 회로에 의한 Forward-pass 과정은 다음과 같으며,(1) \(p \leftarrow x+y\)(2) \(q \leftarrow p*z\)(3) \(f ..

by Geol Choi | May 6, 2017이번 포스팅에서는 딥러닝 알고리즘에서 Weights를 업데이트하는 중요한 요소들 중 하나인 역전파(Backpropagation)에 대해 알아보도록 한다.개요다음과 같이 2-레이어 신경망(2-Layer Neural Network)를 예로 들어보자.그림 1. 2-레이어 신경망그림 1.은 Fully Connected 2-레이어 신경망의 예이며, x는 입력(Input), h는 은닉 레이어(Hidden Layer), y는 출력(Output)을 의미한다. 입력-은닉 레이어, 은닉 레이어-출력을 연결하는 선들은 가중치 합(Weighted Sum)을 위한 각각의 가중치, w를 의미한다. 또한 \(b_i\)는 Input → Hidden Layer의 바이어스(Bias)를, \..

Written by Geol Choi | December 10, 2016 이번 글에서는 인공신경망(Artificial Neural Networks, ANN)에 대하여 간략한 이론을 알아보도록 하겠습니다. 1. 인공신경망(Artificial Neural Networks) 개요인공신경망은 생물의 뇌가 입력된 자극에 반응하는가를 이해하여 입력 신호와 출력 신호에 대한 관계를 모델링하는 것입니다. 뉴런은 전기 신호를 수집, 처리 및 전파를 주된 목적으로 하는 뇌의 세포인데, 인공신경망에 있어 정보를 처리하는 기본적인 단위를 인공 뉴런(Artificial Neuron) 또는 노드(Node)라고 한다. 인공신경망은 이러한 거대 병렬 처리를 위한 인공 뉴런들이 서로 연결된 네트워크를 이용하는 것이며, 뇌의 정보 처리..