Scientific Computing & Data Science

Written by Geol Choi | Sep. 30, 2017 이번 포스팅은 교차검증에 대한 간단한 개념만 설명합니다.개요머신러닝 모델을 설계하다보면 설계에 필요한 파라미터들이 있습니다. 즉, 모델의 동작을 위해 결정되어야 할 파라미터들인데 이 파라미터들에 의해 모델 성능이 크게 영향을 받는 경우가 많습니다. 이렇게 머신러닝 모델을 설계하기 위해 필요한 파라미터들을 Hyperparameters라고 합니다. 사실 Hyperparameters를 정하는 것은 여간 까다로운 일이 아닙니다. 왜냐하면 정해야 할 파라미터가 1~2개라면 큰 문제가 없겠지만 파라미터가 1개씩 추가될 때마다 검증의 복잡도는 기하급수적으로 증가하기 때문입니다. 게다가 각 Hyperparameter에 대하여 범위를 어떻게 정해야 하며 ..

Written by Geol Choi | Jul. 15, 2017 이번 포스팅에서는 회선신경망(Convolutional Neural Network; CNN)을 이용하여 손글씨 숫자를 학습시키는 코드를 Pytnon과 R 각각에 대하여 TensorFlow에서 어떻게 구현할 수 있는지 알아보도록 한다. [목차] 1. Python-TensorFlow 2. R-TensorFlow 2.1. 라이브러리 패키지 불러오기 2.2. 입력 데이터 준비 2.3. 파라미터 정의 2.4. weights & biases 변수 정의 2.5. placeholder 변수 정의 2.6. conv2d 함수 정의 2.7. maxpool2d 함수 정의 2.8. conv_net 함수 정의 2.9. 모델 세우기 2.10. 손실함수 및 Optimi..

by Geol Choi | Apr. 20, 2017Contents1. 소개 2. R의 딥러닝 패키지들 3. "MXNetR" 패키지 4. "darch" 패키지 5. "deepnet" 패키지 6. "H2O" 패키지 7. "deepr" 패키지 8. 패키지 비교 9. 결론 10. 참고 1. 소개딥러닝은 데이터를 고도의 비선형 모델링을 할 수 있는 머신러닝의 최신 트렌드이다. 지난 몇년간 딥러닝은 다양한 응용분야에서 막대한 모멘텀과 우세함을 얻게 되었다. 이러한 응용분야는 이미지와 음성 인식, 자율주행차, 자연어 처리 등 다양하다. 흥미롭게도 딥러닝의 대다수의 수학 컨셉은 수십년간에 걸쳐 알려져 왔다. 그러나, 이들은 딥러닝의 잠재력을 촉발시킨 최근의 발전에 의한 것이었다 (Nair and Hinton 2010;..

이번 포스팅에서는 머신러닝의 분류에 대하여 정리해 보기로 한다.머신러닝의 목적은 인간이 개입하지 않고 컴퓨터가 어떠한 일을 수행할 수 있도록 학습시키는 것이다. 유전학, 사회관계망, 광고, 위험분석 등과 같은 응용분야의 증가에 따라 프로세스, 고객, 조직에 필요한 정보 추출하 또는 인사이트 제공을 위한 엄청난 양의 데이터를 분석할 수 있는 데이터가 생성되고 있다. 궁극적으로 머신러은 모델을 세우고 평가를 위해 과거, 현재 미래의 데이터를 이용하여 성능 조건을 최적화하는 알고리즘으로 구성된다. 1. Unsupervised Learning (비지도 학습)비지도 학습의 목표는 어떠한 관찰 데이터 집합에 대한 일정한 규칙성과 불규칙성을 발견해 내는 것이다. 통계학에서 Density Estimation으로 알려진..

Written by Geol Choi | Mar. 26, 2017 이번 포스팅에서는 자기조직화맵(Self-Organising Map; SOM)에 대하여 기본 이론, 특성, R을 이용한 구현하는 방법에 대하여 알아보도록 하겠습니다. 이론적 배경SOM 또는 SOFM(Self-Organising Feature Map)은 인공신경망(Artificial Neural Network; ANN)의 한 종류로서 기본 개념은 1980년대 핀란드 교수인 Teuvo Kohonen이 제안한 Kohonen Network에 근간을 두고 있습니다.SOM이 ANN의 한 종류이기는 하지만 "표준" ANN과는 구별되는 몇가지 특징들이 있습니다. 그 차이는 다음과 같습니다: (1) 표준 ANN은 연속적인 레이어들로 구성되는 반면, SOM은..

본 포스팅에서는 머신러닝과 관련 핵심용어에 대한 설명을 하도록 한다.1. 머신러닝 (Machine Learning; ML)Mitchell에 따르면, ML은 "경험에 의해 자동으로 개선되는 컴퓨터 프로그램을 어떻게 구현할 것인가"와 관련이 깊다. ML은 자연적으로 여러 분야에 걸쳐있으며, 컴퓨터 과학, 통계, 인공지능 및 기타 분야의 다양한 기술을 도입한다. ML 연구의 주요 성과물은 경험으로부터 자동 개선을 가능하게 하는 알고리즘, 컴퓨터 비전, 인공지능, 데이터 마이닝(Data Mining)과 같은 분야 적용할 수 있는 알고리즘 등이다.2. 분류 (Classification)분류는 데이터를 정해진 카테고리에 지정하는 모델을 구축하는 것과 관련이 깊다. 이 모델들은 알고리즘이 학습할 수 있도록 미리 라벨..

by Geol Choi | March 12, 2014 지난 포스팅에서 R에서 TensorFlow 개발환경 구축에 대하여 설명한 바 있다.R에서 TensorFlow 개발환경 구축에 성공하였다면, 간단한 예제를 실행해 보도록 하자. 패키지 라이브러리 로딩하기TensorFlow 패키지 라이브러리와 Plotting을 위해 plotly 패키지 라이브러를 로딩한다: ## load necessary library packages if (! ("tensorflow" %in% rownames(installed.packages()))) { install.packages("tensorflow") } library(tensorflow) if (! ("plotly" %in% rownames(installed.packages()..

이 글은 Parallel R의 R for Deep Learning (I): Build Fully Connected Neural Network from Scratch를 번역한 것입니다. Source Code: GitHub: https://github.com/PatricZhao/ParallelR 이론적 배경심층 인공신경망(이하 원어 사용: Deep Neural Network; DNN)는 최근 몇년간 이미지 인식, 자연어 처리 및 자율주행차 분야에서 막대한 성과를 이루어 냈으며, 그림 1.에서 보이는 바와 같이 2012년에서 2015년 사이 DNN은 IMAGNET의 정확도를 80%에서 95%까지 끌어올렸다. 이는 전통적인 컴퓨터 비전(Computer Vision; CV) 방법론들을 꺾은 것이다. 그림 1. -..

1895년 독일 물리학자 Wilhelm Röntgen은 그의 아내 Anna에게 그녀의 손의 X-레이를 보여주었다. Anna는 "나는 죽음을 보았다"라고 말했다. 의료 영상은 100여년 전에 시작과 동시에 패러다임을 깼고, 지난 몇년간 진화를 거듭한 딥러닝 메디컬 어플리케이션은 한번 더 현실을 뛰어넘어 새로운 가능성으로 우리를 안내했다. 아래 히트맵에서 볼 수 있는 바와 같이, 이미징과 진단에서 인공지능(Artificial Intelligence; AI)은 2015년에 피크에 도달하였고 계속 유지되고 있다. 2015년 1월 이후 벤쳐 캐피탈이 지원하는 헬스케어 AI 스타트업의 1/3이 이미징과 진단 분야에 속해 있으며 이후 펀딩 거래의 80%가 진행되고 있다. 예를 들어, 의료 영상 진단을 위해 딥러닝을 ..

"Windows 환경에서 Docker를 이용하여 TensorFlow 설치"하는 방법에 대하여 소개한 바 있는데, 굳이 Docker를 이용하지 않고도 Anancoda 3를 통해 Windows OS 환경에서 TensorFlow를 설치하고 사용할 수 있다. Anaconda 3 설치다음 링크를 접속하여 Anaconda 3를 자신의 PC에 설치한다: https://www.continuum.io/downloadsAnaconda 3는 Python version 3.5를 지원한다. pip 명령을 통해 TensorFlow 설치Windows 시작 > 모든 프로그램 > Anaconda3(64-bit) > Anaconda Prompt를 관리자 권한으로 실행한다. Anaconda Prompt가 실행되면 TensorFlow의 C..