Scientific Computing & Data Science

by Geol Choi | Jun. 3, 2017 이번 포스팅에서는 지난 포스팅에 이어 역전파(Backpropagation)에 대해 간단한 예제를 통해 좀 더 쉽게, 그리고 딥러닝 예제를 통해 실질적으로 어떻게 작동하는지 자세히 알아보도록 하겠다.Simple Example아래 이미지와 같은 실수값 회로(Circuit)이 있다고 가정해 보자. 입력(Input)은 x, y, z 인데 주어진 값은 각각 3, -1, 8이다. 함수 p, q, f는 각각 다음과 같다: \(p=x+y\), \(q=p+z\), \(f=\mathrm{exp}(q)\) 따라서, 이 회로에 의한 Forward-pass 과정은 다음과 같으며,(1) \(p \leftarrow x+y\)(2) \(q \leftarrow p*z\)(3) \(f ..

by Geol Choi | April 1, 2017 이번 포스팅에서는 R에서 h2o(https://www.h2o.ai) 라이브러리를 이용하여 MNIST 손글씨 숫자(Hand-written Digits) 이미지 데이터세트에 대하여 딥러닝 CNN(Convolutional Neural Network)을 통하여 학습을 시키고, 학습된 결과를 기반으로 테스트 데이터세트에 대하여 인식률을 계산해 보도록 하겠다. MNIST 데이터세트는 NIST라는 표준 참고용 데이터 중 일부로서 총 60,000개의 학습용 데이터세트와 10,000개의 테스트용 데이터세트로 구성된다. MNIST 데이터세트는 NIST의 오리지널 흑백 이미지를 20×20 픽셀 크기로 정규화 한 것이다. 결과 이미지들은 정규화 알고리즘을 이용하여 안티앨리어..

알고리즘은 우리의 직업을 빼앗을 것인가? 그렇다, 정말 그렇다... 그런데 이것은 좋은 것이다.알고리즘은 문제를 풀고 목표를 달성을 돕는 규칙이 있는 과정의 연속물이다. 또한 이러한 과정과 규칙을 구조화 할 때 즉각적으로 인공지능(Artificial Intelligence; A.I.)을 구현하기 위한 알고리즘을 자동화하는 것이 가능하다. 이것이 우리의 과중한 분석 업무를 돕는 인공지능이며 이로써 우리는 우리가 본래의 업무에 충실할 수 있게 된다.인공지능는 우리의 직업, 업무 스타일, 비즈니스 문화를 바꾸고 있다. 인공지능은 우리가 인간 본연의 일인 핵심 문제에 집중할 수 있도록 돕는다. 그러나 일터에서 인공지능을 이용하는 것은 단순하지 않다. 인공지능을 구현하기 위한 알고리즘의 수준은 천차만별이며 이들은..

이 글은 Parallel R의 R for Deep Learning (I): Build Fully Connected Neural Network from Scratch를 번역한 것입니다. Source Code: GitHub: https://github.com/PatricZhao/ParallelR 이론적 배경심층 인공신경망(이하 원어 사용: Deep Neural Network; DNN)는 최근 몇년간 이미지 인식, 자연어 처리 및 자율주행차 분야에서 막대한 성과를 이루어 냈으며, 그림 1.에서 보이는 바와 같이 2012년에서 2015년 사이 DNN은 IMAGNET의 정확도를 80%에서 95%까지 끌어올렸다. 이는 전통적인 컴퓨터 비전(Computer Vision; CV) 방법론들을 꺾은 것이다. 그림 1. -..

이 글은 Data Science Central의 15 Deep Learning Tutorials을 번역한 것입니다. 본 레퍼런스는 딥 러닝, 머신 러닝, 데이터과학, 딥 데이터 과학, 인공지능, 사물인터넷, 알고리즘 등 관련 토픽에 대하여 선택한 튜토리얼을 제공하는 DSC(Data Science Central) 아티클의 새로운 시리즈의 일부이다. 심도 있는 주제를 다룬 목록의 글들을 읽을 시간이 없는 바쁜 독자들을 위한 것이다. 15가지 딥 러닝 튜토리얼Deep Learning: Definition, Resources, Comparison with Machine LearningDeep Learning for Everyone – and (Almost) Free Guide to Deep Learning AI..

* 이 글은 Data Science Central의 "Difference between Machine Learning, Data Science, AI, Deep Learning, and Statistics"을 번역한 것이다. 이번 글에서는 데이터 과학자의 다양한 역할과 머신러닝, 딥 러닝, AI, 통계학, IoT, 오퍼레이션 리서치, 응용 수학 등과 같은 관련 분야와 데이터 과학이 어떻게 다른지 공통점은 무엇인지 기술하고자 한다.데이터 과학은 넓은 분야를 포괄하는 만큼, 어떤 사업 분야에서도 마주칠 수 있는 데이터 과학자의 다양한 유형에 대해 살펴보기록 한다: 각자는 자신이 미처 몰랐던 스스로가 데이터 과학자임을 깨닫게 될 수도 있다.다른 과학 분야의 소양과 마찬가지로, 데이터 과학자들은 관련 소양으로부..

Written by Geol Choi | Nov. 12, 2016 이전 글(Naive Bayes Spam Filter Part 1.)에서 Naive Bayes에 대한 이론을 다뤘습니다. 이번 글에서는 이론을 바탕으로 휴대폰의 SMS 데이터의 Spam Filter를 작성해 보도록 하겠습니다. 일반적인 데이터 분석 프로세스는, (1) 문제 정의(2) 데이터 획득(3) 데이터 클린업(4) 데이터 정규화(5) 데이터 변형 및 가공(6) 데이터 탐구 기반 통계(7) 데이터 탐구 기반 시각화(8) 예측 모델(9) 모델 평가(10) 결과에 대한 시각화 및 해석(11) 솔루션 배포 인데, Machine Learning에 의한 결과 도출도 이 순서와 크게 다르지 않으며, 전체적인 순서는 다음 그림과 같습니다. 1. 데이..

OverviewDecision Tree 알고리즘 중 가장 알려진 것 중 하나컴퓨터 과학자 J. Ross Quinlan이 개발함Iterative Dichotomiser(ID3)에 대한 개선한 C4.5 알고리즘을 개선한 것임RuleRequest Research에서 알고리즘을 다운받을 수 있음 강점 약점 대부분의 문제에 적합함 손실 데이터를 포함한 숫자형 또는 명칭형 데이터를 다룰 수 있는 자동화 Learning Process중요하지 않은 특징 제거데이터 셋의 규모에 상관없이 사용 가능수학 배경 없이도 해석할 수 있는 모델 생성다른 복잡한 모델 보다 효율적 Decision Tree 알고리즘은 많은 수의 레벨을 갖는 Feature에 대한 구분에 있어 치우는 경향이 있음모델에 대한 과다 적합 또는 미적합 되는 경..

지난 글(k-Nearest Neighbor Algorithm)을 통해 R에서 k-NN 알고리즘 코드를 작성해 보았습니다. 이제 이 코드를 이용하여 숫자 필기 인식을 하는 R 코드를 작성해 보도록 하겠습니다. 데이터 준비우선 0~9의 숫자를 손으로 쓴 데이터를 준비합니다. 두 그룹을 준비하는데, 하나는 Training Dataset으로 사용될 그룹이며 다른 하나는 Test Dataset으로 사용될 그룹입니다. 이 데이터들은 Manning Publications의 "Machine Learning in Action"에서 제공하는 데이터를 활용하였습니다. 데이터 다운로드를 받으려면 [여기]를 클릭합니다. 해당 데이터 경로는 MLiA_SourceCode/machinelearninginaction/Ch02/digi..

1. Concept of Algorithmk-Nearest Neighbor(k-NN)는 어떤 데이터 오브젝트이 집합에 대하여 일정 규칙에 의하여 분류된 상태에서 새로운 데이터 오브젝트에 대한 분류를 하는 알고리즘입니다. 이 때 미리 분류된 데이터 오브젝트를 기계에 입력하여 기계가 분류 기준을 판단할 수 있도록 하는 것을 training이라고 합니다. k-NN은 기계 학습(Machine Learning) 중 지도 학습(Supervised Learning)에 대한 분류(classification) 알고리즘입니다. 이 알고리즘은 여러 분야에 사용될 수 있으며 대표적으로 도서 나 영화 추천 서비스 등이 있습니다. 사실 알고리즘 컨셉은 의외로 단순합니다. 예를 들어, 기계에게 영화의 특성을 알려 주고 어떤 장르의..