Scientific Computing & Data Science

이전 글(R과 MongoDB 연동하기(rmongodb))에서 R의 MongoDB 관련 패키지인 rmongodb를 이용하여 R과 MongoDB를 연동하는 방법에 대해 소개한 바 있다. 그러나 rmongodb 패키지는 CRAN에서 제거되었으며, 이를 대신하여 mongolite 패키지를 사용할 수 있게 되었다. 이번 글에서는 mongolite 패키지를 이용하여 R과 MongoDB를 연동하여 데이터 도큐먼트 저장, 삭제, 업데이트 등을 하는 방법에 대하여 알아보도록 하겠다. 사용된 데이터는 다음 링크를 클릭하여 다운 받도록 한다: MongoDB 실행하기R의 Working Directory에 MongoDB 데이터를 저장할 폴더를 하나 생성하고 Command Line Tool에서 다음 명령을 통해 MongoDB를 ..

들어가기에 앞서...GPU(그래픽 처리 장치)는 최근 많은 계산이 요구되는 작업을 해야 하는 경우에 대해 더욱 인기를 얻고 있다. 이러한 장점에도, R에서의 GPU의 사용은 매우 제한되어 있었다. 불가능한 것이 아님에도 저수준 인터페이스 작업에 익숙하지 않은 프로그래머들에게 OpenCL이나 CUDA는 어렵다. 복잡한 GPGPU 코드를 추상화하는 R의 고수준 프로그래밍에 대한 바인딩을 생성하는 것은 R 유저들에게 GPU를 쉽게 활용할 수 있는 길을 열어준다. 이에 대한 핵심 아이디어를 제공하는 것이 gpuR 패키지이다. gpuR은 다음 세 가지 기발한 측면이 있다:'모든' GPU에 대해 적용이 가능하다.CUDA/OpenCL을 추상화하여 기존의 R 알고리즘에 쉽게 통합할 수 있다.객체가 GPU에서 지속 될 ..

이 글은 본래 Capital of Statistic에 중국어로 간행된 것이며 많은 훌륭한 조언을 해준 He Tong에게 감사를 전한다.이 글에 수록된 모든 코드는 GitHub[링크]에 있다.데이터 과학자들은 R, SAS, SPSS, MATLAB 등과 같은 통계 소프트웨어에 이미 익숙해있다; 그러나, 일들 중 일부는 병렬 컴퓨팅에 상대적으로 미숙하다. 그래서 이 글에서 R에서 병렬 컴퓨팅 사용에 대한 기본개념을 소개하고자 한다. 병렬 컴퓨팅이란 무엇인가?병렬 컴퓨팅은 분명히 고성능 컴퓨터와 병렬 소프트웨어를 포함해야 한다. 고성능 컴퓨터의 피크(Peak) 성능은 급증하고 있다. 최근의 세계 500대 수퍼컴퓨터 랭킹에서 중국의 Sunway TaihuLight은 93 PFLOPS로 최고에 올라있다(링크). 대..

이번 글에서는 R에서 병렬처리를 하는 방법에 대하여 소개하도록 한다.R-bloggers의 글, How-to go parallel in R - basics + tips의 내용을 최대한 참고하여 정리해 보았다. [목차]1. lapply에 대하여2. parallel 패키지3. foreach 패키지4. 디버깅5. 캐싱(Caching)6. 계산 부하 밸런싱7. 이미지 프로세싱 예제 1. lapply에 대하여R이 기본적으로 제공하는 함수들 중 가장 많이 사용되는 함수가 lapply일 것이다.이와 유사한 함수로 apply, sapply, tapply 등이 있는데 각자의 쓰임새가 있으며, 자신이 R유저라고 자신한다면 이 함수들이 어느 상황에 적절히 쓰이는지 이해하고 자유자재로 다룰 수 있어야 한다고 생각한다. 다음 코..

Part 1.에 이어 이번 글에서는 R에서 인공신경망(Artificial Neural Networks, ANN)을 이용하여 분류(Classification) 문제를 풀어보도록 하겠습니다.1. 데이터 획득ANN을 이용하여 분류할 학습 데이터와 테스트 데이터가 필요합니다. 대표적인 Machine Learning 저장소인 UCI Machine Learning Data Repository에서 데이터를 획득하도록 합니다. 이 중 몽크 문제(Monk's Problem) 데이터를 이용하기로 하겠습니다. 몽크 문제는 최초의 학습 알고리즘 비교를 위한 기초가 되었습니다. 먼저 몽크 문제의 학습 데이터를 다운받도록 합니다: 몽크 문제 학습 데이터또한 몽크 문제의 테스트 데이터를 다운바도록 합니다: 몽크 문제 테스트 데이터..

Written by Geol Choi | December 10, 2016 이번 글에서는 인공신경망(Artificial Neural Networks, ANN)에 대하여 간략한 이론을 알아보도록 하겠습니다. 1. 인공신경망(Artificial Neural Networks) 개요인공신경망은 생물의 뇌가 입력된 자극에 반응하는가를 이해하여 입력 신호와 출력 신호에 대한 관계를 모델링하는 것입니다. 뉴런은 전기 신호를 수집, 처리 및 전파를 주된 목적으로 하는 뇌의 세포인데, 인공신경망에 있어 정보를 처리하는 기본적인 단위를 인공 뉴런(Artificial Neuron) 또는 노드(Node)라고 한다. 인공신경망은 이러한 거대 병렬 처리를 위한 인공 뉴런들이 서로 연결된 네트워크를 이용하는 것이며, 뇌의 정보 처리..

이번 글에서는 R에서 지정된 Directory 내의 파일들을 일정 포맷으로 일괄적으로 변경하는 팁을 설명하고자 한다. 가령, 아래 이미지와 같이 "Test" Directory 내에 파일들이 다음과 같이 존재한다고 가정하자. [./Test/] 위의 해당 Directory 내의 파일들을 아래 이미지와 같이 일괄 변경하는 R 코딩을 한다고 가정한다. 즉, "Air-"를 "Water_"로 변경하였고, "001"로 시작하는 Index를 "007"로 시작하도록 하였다. Directory 내 파일 모두 불러오기특정 Directory(Path)를 지정하는 변수를 basePath 라고 하고 하고, fileList 변수에 해당 경로의 파일들을 모두 불러오려면 다음과 같이 코드를 작성한다. fileList basePath ..

by Geol Choi | Sep. 25, 2016 이번 글에서는 Node.js의 Web Framework인 Express에서 R Script를 실행하여 결과를 출력하는 방법에 대하여 알아보도록 하겠다.Data Flow의 개념은 다음 그림과 같다. 이를 구현하기 위하여 몇가지 기본 선행 지식이 필요하며, 아래 링크를 간단하게 파악하면 도움이 될 것이다.Rscript 명령을 이용하여 Command Line에서 R 스크립트 파일 실행하기 Node.js에서 Command Line 명령 실행하기 Node.js Child Process실행환경본 튜토리얼의 설명을 위해 구성한 실행환경은 다음과 같으나, Mac OS 및 Linux 계열의 OS에서도 가능하며, R 및 Node.js의 버전은 이보다 낮은 버전에서도 실행..

이번 글에서는 Rscript 명령을 통해 Command Line에서 R Script를 실행하는 방법을 알아 보도록 하겠다.실행환경OS : Windows 7 64R : ver.3.3.1 Bug in Your Hair 환경변수 추가만약 Default Option으로 R을 설치한 경우라면 Rscript.exe는 다음 경로에 있다.C:\Program Files\R\R-3.3.1\bin 상기 기본 경로에 R을 설치하였다고 가정하고 환경변수 추가하는 방법에 대하여 알아본다.Command Line에서 다음 명령을 입력하여 R 설치경로에 대한 변수를 추가한다:> setx R_HOME "C:\Program Files\R\R-3.3.1\bin" 이제 Rscript.exe이 있는 경로(C:\Program Files\R\R-..

이번 글에서는 R을 이용하여 필기된 숫자가 포함된 이미지를 0과 1의 binary text 형식으로 변환하는 방법에 대하여 알아보겠다. 우선 R의 Image Processing Package인 EBImage를 다운로드한다. source("http://bioconductor.org/biocLite.R") biocLite("EBImage") 다음과 같이 필기된 숫자가 포함된 이미지를 0과 1의 binary text 형식으로 변환하는 R 함수를 작성하였다: #################################################################################################### # @function : ConvertImageToText # @author..