Scientific Computing & Data Science

지난 글에서 R을 이용한 k-NN 알고리즘에 대하여 살펴본 바 있다. (k-Nearest Neighbor Algorithm) 그러나, R의 라이브러리 중 하나인 class 라이브러리를 이용한 것이며, 실질적으로 R을 이용하여 구체적으로 어떻게 코딩되는지 살펴보지는 않았다. 이번 글에서는 R에서 실질적으로 k-NN 알고리즘을 구현해 보도록 한다. k-NN 함수k-NN 함수를 다음과 같이 구현하였다. R CODE: ##################################################### # @function: KNN() - k-nearest neighbor algorithm # @input: # - df : data frame for training data set # - inX : ..

이번 글에서는 R을 이용하여 필기된 숫자가 포함된 이미지를 0과 1의 binary text 형식으로 변환하는 방법에 대하여 알아보겠다. 우선 R의 Image Processing Package인 EBImage를 다운로드한다. source("http://bioconductor.org/biocLite.R") biocLite("EBImage") 다음과 같이 필기된 숫자가 포함된 이미지를 0과 1의 binary text 형식으로 변환하는 R 함수를 작성하였다: #################################################################################################### # @function : ConvertImageToText # @author..

Written by cinema4dr12이전에 Supervised Learning의 기법 중 하나로서 k-Nearest Neighbor(kNN) 알고리즘에 대하여 살펴본 바가 있다.이번 글에서는 Unsupervised Learning의 기법 중 하나인 k-means 알고리즘과 예제를 R을 이용하여 살펴보도록 하겠다.Clustering이란, 분류가 되어 있지 않는 데이터 집합들을 그룹화 하는 것으로, 이미 데이터의 분류 기준이 정해져 있는 상태에서 새로운 데이터를 어느 집합으로 분류할 것인가를 정하는 classification과 대비된다. 그렇다면 clustering이란 무엇인가?[1] Clustering이란 다음 기준을 만족하여 데이터를 분류하는 것이다:(1) Class 내에서는 데이터 간 유사성이 높다..

1. Concept of Algorithmk-Nearest Neighbor(k-NN)는 어떤 데이터 오브젝트이 집합에 대하여 일정 규칙에 의하여 분류된 상태에서 새로운 데이터 오브젝트에 대한 분류를 하는 알고리즘입니다. 이 때 미리 분류된 데이터 오브젝트를 기계에 입력하여 기계가 분류 기준을 판단할 수 있도록 하는 것을 training이라고 합니다. k-NN은 기계 학습(Machine Learning) 중 지도 학습(Supervised Learning)에 대한 분류(classification) 알고리즘입니다. 이 알고리즘은 여러 분야에 사용될 수 있으며 대표적으로 도서 나 영화 추천 서비스 등이 있습니다. 사실 알고리즘 컨셉은 의외로 단순합니다. 예를 들어, 기계에게 영화의 특성을 알려 주고 어떤 장르의..

"데이터 분석"이란 가공되지 않은 데이터를 정렬하고 조직화하여 과거를 설명하고 미래를 예측할 수 있는 방법을 세우는 과정이다. 데이터 분석은 단순한 숫자에 관한 것이 아니며, 질문을 세우거나 질문을 하는 것, 설명 방식에 대한 개발을 하는 것, 가설을 검증하는 것에 관한 것이다. 데이터 분석은 다중의 분야를 융합하는 것으로써, 해당 분야는 컴퓨터 과학(Computer Science), 인공 지능(Artificial Intelligence), 기계 학습(Machine Learning), 통계와 수학(Statistics & Mathematics), 지식 도메인(Knowledge Domain)이다.컴퓨터 과학컴퓨터 과학은 데이터 분석과 분석된 데이터의 설명을 위한 가시화에 관련된 도구를 제공한다. 데이터 분석..

원문: http://www.ciokorea.com/news/20112마이크로소프트가 클라우드, 엔터프라이즈 소셜, 빅 데이터, 기계 학습, 모바일 기능을 결합해 오피스 365 플랫폼에서 제공하는 계획에 대해 발표했다. 회사의 제프 데퍼 부사장은 셰어포인트 컨퍼런스에서의 키노트 연설에서 이러한 구상을 공개했다. 그는 기업 내 최종 사용자, 개발자 커뮤니티, IT 전문가를 대상으로 한다고 설명했다. 그에 따르면 먼저 최종 사용자를 겨냥해 마이크로소프트는 소셜 기능을 통합한 새로운 '개인화된' 경험을 선보였다. 이를 통해 정보 탐색, 유사 프로젝트 경험 인력 등을 쉽고 빠르게 발견할 수 있다는 설명이다. 오피스 그래프(Office Graph)라는 이름의 이번 새로운 오피스 365 인텔리전스 패브릭은, 사용자에..

원문: http://www.ciokorea.com/news/19808하둡 업체인 클라우데라가 클라우데라의 하둡 환경에서 실시간으로 데이터를 분석하는 아파치 스파크(Apacahe Spark) 프로그램의 상용 버전을 개발했다. 이 상용 버전은 스트림 처리와 빠른 기계 학습을 위한 하둡 사용을 확대할 수 있다. 클라우데라의 제품 마케팅 담당 이사 매트 브랜드웨인은 "데이터 과학자들이 스파크를 좋아한다"라고 밝혔다. 브랜드웨인은 "지금까지 보면, 하둡을 사용한다고 하면, 대게 맵리듀스를 쓴다고 할 수 있다. 그러나 맵리듀스는 정말 느리다"라며 “맵리듀스 프레임워크는 여러 읽기 및 기계 학습 임무를 수행하기 위해 디스크에 많이 기록해야 한다”고 지적했다. 데이터가 메모리 작업에 머물러 있는 동안 스파크는 이 작업..