Scientific Computing & Data Science

원문 : http://www.bloter.net/archives/265786 최근 IT 업계에서 가장 성장하고 있는 분야 중 하나는 데이터과학이다. 국내외 대기업부터 스타트업까지 데이터의 중요성을 강조하고, 기업은 실력 있는 데이터과학자 찾기에 분주하다. 하지만 생각보다 데이터과학자가 무엇을 하는 사람인지, 무엇을 준비해야 데이터과학자가 될 수 있는지 아는 사람은 많지 않다. 지난 10월14일, 데이터과학자들이 함께 모여 기술과 경험을 공유하는 장이 열렸다. ‘데이터야 놀자’에서 데이터 과학자를 꿈꾸는 사람이나 데이터분석 조직을 준비하는 이들에게 도움이 될만한 이야기를 들을 수 있었다.데이터엔지니어, 데이터애널리스트, 데이터사이언티스트?업계에서 데이터과학자가 하는 일은 생각보다 다양하다. 그러다보니 직함..

이번 글에서는 Rscript 명령을 통해 Command Line에서 R Script를 실행하는 방법을 알아 보도록 하겠다.실행환경OS : Windows 7 64R : ver.3.3.1 Bug in Your Hair 환경변수 추가만약 Default Option으로 R을 설치한 경우라면 Rscript.exe는 다음 경로에 있다.C:\Program Files\R\R-3.3.1\bin 상기 기본 경로에 R을 설치하였다고 가정하고 환경변수 추가하는 방법에 대하여 알아본다.Command Line에서 다음 명령을 입력하여 R 설치경로에 대한 변수를 추가한다:> setx R_HOME "C:\Program Files\R\R-3.3.1\bin" 이제 Rscript.exe이 있는 경로(C:\Program Files\R\R-..

Data Frame 초기화> df vec vec mat arr

이번 글에서는 Big Data와 직접적인 관련은 없지만 Fluctuation이 심한 데이터에 대한 경향을 살펴보는 기법 중 하나인 Moving Average에 대하여 알아본다. Moving Average에는 Simple Moving Average, Accumulative Moving Average, Weighted Moving Average, Modified Moving Average, Exponential Moving Average 등이 있으며, 이 중 가장 간단한 Simple Moving Average를 다루기로 한다. Theory & AlgorithmSimple Moving Average의 알고리즘은 매우 간단하다. n개의 데이터 윈도우사이즈(Window Size)에 대하여,최초 i개의 데이터 개수..

이번 글에서는 HTML5 JavaScript 챠트(Chart)인 CanvasJS 에 대하여 소개하고자 한다. HTML5 기반에서 다이내믹한 데이터 시각화를 위한 챠트를 제공하는 방법은 Flash 플러그인을 사용하거나 SVG(Scalable Vector Graphics), Canvas 등 표준 렌더링 태그를 사용하는 방법이 있다. 대부분 아다시피 Flash는 보안 문제 등으로 인해 점점 설 자리를 잃어가는 추세인 만큼, HTML5 표준 렌더링 태그를 사용하는 것을 강력히 추천한다. SVG와 Canvas는 각각의 장점과 단점이 있는 만큼 이들을 잘 파악하여 사용 목적에 따라 적절히 사용하는 것이 좋다. 이들에 대한 비교는 다음 링크에 잘 정리되어 있다: https://msdn.microsoft.com/ko-..

기사원문: http://magazine.hankyung.com/business/apps/news?popup=0&nid=01&c1=1003&nkey=2015073101026000231&mode=sub_view미국의 버락 오바마 대통령은 작년 사생활 보호권 전문가·과학기술자·사업가 등과 빅 데이터가 가져오는 민간 및 공공 영역에서의 사생활 침해 위협을 파악하고 이를 최소화하면서 정보를 자유롭게 공유할 수 있는 방안을 검토하라고 지시했다. 미 대통령 과학기술자문위원회(PCAST)는 기술적인 관점을 중심으로 이를 검토, ‘빅 데이터와 사생활 보호권 : 기술적인 관점(BigData and Privacy : A Technological Perspective)’이라는 보고서를 제출했다. 이 보고서에 담긴 주요 내용을..

Data science의 process는 다음과 같이 정리할 수 있다: 1. 질문하기 2. 배경연구(Background Research) 하기 3. 가설(hypothesis) 세우기 4. 실험을 통해 가설 검증하기 5. 데이터 분석 및 결론 이끌어 내기 6. 결과에 대한 토의하기기 결국 Data Science도 여타의 과학에 대한 절차와 거의 동일함을 알 수 있다.

설치하기$ sudo apt-key adv --keyserver keyserver.ubuntu.com --recv 7F0CEB10 $ echo "deb http://downloads-distro.mongodb.org/repo/ubuntu-upstart dist 10gen" | tee -a /etc/apt/sources.list.d/10gen.list $ sudo apt-get -y update$ sudo apt-get -y install mongodb-10gen MongoDB Config 파일 위치$ cd /etc/mongodb.conf MongoDB Script 파일 위치 - Log, Data File 디렉터리 생성$ /etc/init/mongodb.conf Data files와 Log 디렉터리 위치da..

MongoDB의 Database 및 Collection을 삭제하는 방법에 대해 알아보자.collection 삭제현재 db에 "users"라는 이름의 collection이 있다고 가정하자. > db.getCollectionNames() [ "system.indexes", "users" ] 현재 db에서 users collection을 삭제하는 명령은 drop이다. > db.users.drop() true > db.getCollectionNames() [ "system.indexes" ] drop 명령을 통해 collection이 삭제된 것을 확인할 수 있다.db 삭제먼저 "test"라는 이름의 db를 생성한다: > use test switched to db test > show dbs local 0.078..

Question 1첨부된 데이터를 로딩하고 column 이름을 출력하시오. > myData = read.csv("dataset.csv") > names(myData) [1] "Ozone" "Solar.R" "Wind" "Temp" "Month" "Day" Question 2처음 두 개의 row를 출력하시오.> myData[1:2,] Ozone Solar.R Wind Temp Month Day 1 41 190 7.4 67 5 1 2 36 118 8.0 72 5 2 Question 3주어진 dataset에는 얼마나 많은 data가 있는가?> dim(myData) [1] 153 6 Question 4주어진 dataset의 마지막 두 개의 row를 출력하시오.> rowLength = dim(myData)[1 >..