Scientific Computing & Data Science

by Geol Choi | Jul. 8, 2017 이번 포스팅에서는 다중변수 선형 회귀(Multi-variable Linear Regression 또는 Multiple Linear Regression) 모델에 대한 간단한 이론과 이를 TensorFlow를 이용하여 최적화 문제로 풀고 결과를 비교해 보도록 하겠다.1. Theory by Example 1.1. Dataset - IQ와 신체적 특성과의 관계지능지수에 관하여 많은 사람들이 궁금해하는 것이 있다: "과연 뇌의 크기와 지능지수와의 상관성이 있을까? 있다면, 뇌의 크기로 지능지수를 유추할 수 있을까?" 이 질문에 답을 하기 위하여 몇몇 연구자들(Willerman, et al, 1991)은 38명의 대학생들을 상대로 뇌의 신체적 특성과 IQ를 조사하였..

Data Science, Big Data, Data Analytics에 대한 설명을 잘 해놓은 (무엇보다도 심플하면서도 간결한 디자인이 맘에 드는) 자료가 있어 소개하고자 한다.

기사원문: http://view.asiae.co.kr/news/view.htm?idxno=2017070214344936004 빅데이터로 배달업종 이용분석 요일 ·연령 등 고객특성 파악해 맞춤형 영업전략 수립 가능 SKT '빅데이터 허브' 개방 4년째 범죄예방 ·교통분석 등 시너지 빅데이터는 지금 조류독감(AI)과의 '보이지 않는 전쟁' 중이다. 기업이 모은 빅데이터를 민간과 공유하면서 범죄예방, 교통량 분석, 상권분석 등 다양한 시너지를 만들어내고 있다. 2일 SK텔레콤은 "국내 첫 민간 빅데이터 개방 사례인 '빅데이터 허브'의 데이터 이용 신청 건수가 6월 말 기준 1만 1000건을 돌파했다고 밝혔다. '빅데이터 허브'는 지난 2013년 10월 첫 개방 이후 4년째를 맞고 있으며, 공개 데이터는 최초 ..

기사원문: http://www.fnnews.com/news/201707021729567142 SKT, 가입자 이동 데이터에 탑승자 결제정보 활용한 택시 서비스 구상중이지만 개인정보보호법 등에 막혀 당장 사업화하지는 못해 서민들의 체감경기는 여전히 냉골이어서 택시기사들은 손님맞기가 쉽지 않다. 그러나 통신회사의 가입자 이동 데이터와 택시 탑승자들의 결제정보를 결합한 빅데이터를 활용하면 손님이 끊기지 않는 노선도를 그릴 수 있다. 지난해 하루 평균 3360개의 중소 자영업체가 문을 열었지만 경영난을 이기지 못해 문을 닫는 자영업자도 하루 평균 2491개에 달한다. 그러나 빅데이터를 활용해 상권을 분석하고 주요 소비패턴을 분석하면 불황의 파고를 넘을 수 있는 사업 아이템과 상점 위치를 족집게처럼 찾아낼 수 있..

by Geol Choi | Jul. 2, 2017 이번 포스팅에서는 회선신경망(Convolutional Neural Network; CNN)의 ConvNet 구조의 Conv 레이어 사이에서 이미지의 사이즈를 줄임으로써 파라미터 개수와 계산 시간을 줄이기 위한 방법으로 사용되는 풀링(Pooling)에 대해 알아보도록 한다. [이미지 출처: CS231n Convolutional Neural Networks for Visual Recognition] Theory특히 많은 양의 픽셀을 갖는 복잡한 딥러닝 문제에 있어 CNN의 계산속도를 향상시키기 위해 CNN 구조에 Pooling Layer를 포함시킨다. 풀링은 회선 레이어(Convolutional Layer)에서 이미지의 크기와 해상도를 점차 줄여나가면서 계산..

by Geol Choi | Jun. 26, 2017 이번 포스팅에서는 R에서 MXNet 딥러닝 프레임워크를 활용하여 간단한 Classification 문제를 풀어보도록 한다.만약 R에서 MXNet 개발환경을 처음으로 구축하고자 한다면 여기를 참고하도록 한다. MXNet 개발환경 설정이 모두 완료되면, MXNet 라이브러리를 로딩한다: 1234############################################################ load libraries###########################################################base::require(mxnet)Colored by Color Scriptercs 이제 데이터를 준비해야 하는데, R에 빌트인..

by Geol Choi | Jun. 25, 2017 R의 EBImage 라이브러리 패키지를 이용하여 랜덤 컬러 이미지 생성하는 법을 소개한다.EBImage 패키지 설치 및 로딩12345## try http:// if https:// URLs are not supportedsource("https://bioconductor.org/biocLite.R")biocLite("EBImage") base::require(EBImage)cs이미지 사이즈 정의12nWidth

by Geol Choi | Jun. 22, 2017MXNet은 Caffe, CNTK, TensorFlow, Theano, Torch, H2O 등과 같은 딥러닝 프레임워크 중 하나이다.눈 여결 볼 것 중 하나는, AWS(Amazon Web Services)이 MXNet을 지원하게 되었는데 그 이유가 이 들 딥러닝 프레임워크 중 가장 확장 가능한(Scalable) 프레임워크라는 이유에서이다. 확장 가능하다는 것은, 계산 속도나 메모리 용량을 늘리기 위해 다중의 CPU 또는 GPU 활용하거나 컴퓨팅 머신을 자유자재로 늘릴 수 있다는 뜻이다. 또한 MXNet은 다양한 플랫폼을 지원하는데, 지원하는 플랫폼 종류에 대해서는 아래에 정리하여 살펴보도록 하겠다.딥러닝 프레임워크를 선택하는 기준?위에 언급한 딥러닝 프레..

by Geol Choi | Jun. 22, 2017이번 포스팅에서는 Windows OS 환경에서 R과 Python에 MXNet을 설치하는 방법에 대하여 알아보도록 한다.본 개발 환경은 필자가 구동하는 환경인 Windows 7 64 bit에서 구축한 것이지만, 동일한 방법은 Windows 8이나 10에서도 가능하리라 생각된다.R현재 MXNet은 CRAN 패키지를 제공하지 않는다. 하지만, MXNet 깃허브 페이지에 단 3줄의 코드로 설치 방법이 설명되어 있으며, 다른 언어들에 비해 R에서의 설치는 매우 쉬운 편이다.123install.packages("drat", repos="https://cran.rstudio.com")drat:::addRepo("dmlc")install.packages("mxnet")..

by Geol Choi | Jun. 3, 2017 이번 포스팅에서는 지난 포스팅에 이어 역전파(Backpropagation)에 대해 간단한 예제를 통해 좀 더 쉽게, 그리고 딥러닝 예제를 통해 실질적으로 어떻게 작동하는지 자세히 알아보도록 하겠다.Simple Example아래 이미지와 같은 실수값 회로(Circuit)이 있다고 가정해 보자. 입력(Input)은 x, y, z 인데 주어진 값은 각각 3, -1, 8이다. 함수 p, q, f는 각각 다음과 같다: \(p=x+y\), \(q=p+z\), \(f=\mathrm{exp}(q)\) 따라서, 이 회로에 의한 Forward-pass 과정은 다음과 같으며,(1) \(p \leftarrow x+y\)(2) \(q \leftarrow p*z\)(3) \(f ..