Scientific Computing & Data Science

by Geol Choi | Jun. 22, 2017MXNet은 Caffe, CNTK, TensorFlow, Theano, Torch, H2O 등과 같은 딥러닝 프레임워크 중 하나이다.눈 여결 볼 것 중 하나는, AWS(Amazon Web Services)이 MXNet을 지원하게 되었는데 그 이유가 이 들 딥러닝 프레임워크 중 가장 확장 가능한(Scalable) 프레임워크라는 이유에서이다. 확장 가능하다는 것은, 계산 속도나 메모리 용량을 늘리기 위해 다중의 CPU 또는 GPU 활용하거나 컴퓨팅 머신을 자유자재로 늘릴 수 있다는 뜻이다. 또한 MXNet은 다양한 플랫폼을 지원하는데, 지원하는 플랫폼 종류에 대해서는 아래에 정리하여 살펴보도록 하겠다.딥러닝 프레임워크를 선택하는 기준?위에 언급한 딥러닝 프레..

지난 글, "Windows 환경에서 Docker를 이용하여 TensorFlow 설치"하는 방법에 대하여 소개하였다.대부분의 Machine Learning 알고리즘이 고성능 컴퓨팅이 필요한 경우가 많으므로, 자신이 사용하는 PC 환경에 OpenCL, CUDA와 같은 GPU 컴퓨팅을 지원하는 비디오 카드가 있으면 좋겠지만(물론 CPU 병렬 컴퓨팅을 통해서도 가능은 하다), 그렇지 않은 경우 Amazon Web Services(이하 AWS)의 EC2에서 GPU를 지원하는 환경을 설정하여 TensorFlow를 사용하는 것도 하나의 방법이다.이 글은 AWS EC2에 GPU를 지원하는 환경을 설정하여 TensorFlow를 설치하고 사용하는 방법을 소개하고자 한다.* 주의: AWS에 계정이 있으며, AWS를 이용하여..

[Lec 00]수업의 개요와 일정[Lec 01]기본적인 Machine Learning의 용어와 개념 설명[Lab 01]TensorFlow의 설치 및 기본적인 Operations[Lec 02]Linear Regression의 Hypothesis와 Cost[Lab 02]TensorFlow로 간단한 Linear Regression 구현[Lec 03]Linear Regression의 Cost 최소화 알고리즘[Lab 03]Linear Regression의 Cost 최소화의 TensorFlow 구현[Lec 04]Multi-variable Linear Regression[Lab 04]Multi-variable Linear Regression을 TensorFlow에서 구현하기[Lec 5-1]Logistic Classi..

이번 글에서는 Amazon Web Service(AWS) EC2에서 생성한 Windows Server 2012를 Mac OS에서 원격제어하는 방법에 대하여 알아보도록 하겠다.단, 이미 AWS EC2에서 Windows Server 2012가 Instance를 생성하였다고 가정한다.매우 간단하지만, 처음 할 때에는 약간의 시행착오를 겪었기 때문에 다른 분들은 나와 같은 시행착오를 겪지 않도록 하기 위함이다. 자세한 내용은 다음 링크를 참고한다: https://docs.aws.amazon.com/AWSEC2/latest/WindowsGuide/connecting_to_windows_instance.html?console_help=true 1. Mac App Strore에서 Microsoft Remote Des..

이번 글에서는 오픈 소스 크로스플랫폼 FTP 소프트웨어인 Filezilla를 이용하여 Amazon Web Service의 EC2에 접속하는 방법에 대해 알아보도록 하겠습니다. 1. 아래 링크를 접속하여 Filezilla를 설치합니다.Filezilla Web Site: https://filezilla-project.org 2. Filezilla를 실행하고, 메뉴 > 편집 > 설정을 선택합니다. 3. 설정 > 연결 > SFTP로 이동하고, 키 파일 추가 버튼을 클릭합니다. 4. 개인 키가 포함된 파일을 선택하라는 다이얼로그가 나오는데, AWS EC-2에서 웹 서버 구성 시 다운받은 확장자 .pem의 파일을 선택합니다. 5. 지원되는 형식으로 변환할 것이냐고 묻는데, Filezilla는 이 파일을 .ppk 포..

by Geol Choi | Jun. 20, 2015 이번 글에서는 Amazon Web Service(AWS)를 이용하여 NodeJS 웹 서버를 구축하는 방법에 대하여 알아보도록 하겠습니다. 1. Amazon Web Server 사이트에 접속하여 sign in을 합니다. 2. Sign in을 한 후, 좌측 상단에 큐빅 모양의 아이콘을 클릭하여 AWS 메인으로 이동하면 아래 이미지의 화면이 나오고, EC2를 클릭합니다. 3. EC2를 클릭하여 Virtual Servers in the Cloud로 이동하면 아래의 이미지의 화면이 나오며 Launch Instance를 클릭하여 새로운 Instance를 생성합니다. 4. Server 설정 단계는 총 6단계로 이루어져 있습니다. 첫번째 단계는 Amazon Machi..

Setting up Shiny Server on Amazon’s Elastic Compute Cloud (EC2) can be a bit of a process if you’re unfamiliar with Linux system administration. Thankfully, we’ve done all the hard work for you! If you’re looking to get Shiny Server running in EC2 without delay, just boot up an instance of our public Amazon Machine Image (AMI): ami-e2a3358b named “ShinyServer.”If you’re interested in the details..

원문: http://www.itworld.co.kr/news/86608자사에서 막대한 데이터를 다루고 있다면 하둡을 반드시 고려해봐야 한다. 한때 구글과 야후!와 같은 글로벌 인터넷 기업의 전유물이던 가장 인기있고 잘 알려진 빅데이터 관리 시스템이 이제 다른 기업에까지 확산되고 있다.거기에는 두 가지 이유가 있다. 첫째, 기업이 관리해야 될 데이터가 훨씬 많아졌고, 하둡은 기존의 정형 데이터와 새로운 비정형 데이터를 혼합하는데 탁월한 플랫폼이라는 점이다. 둘째, 수많은 개발업체가 하둡 지원과 서비스를 제공하는데 뛰어들어 기업 입장에서 선택의 폭이 늘어났다는 것이다.포레스터 2013년 4분기 소프트웨어 조사 보고서에 따르면, 대부분의 기업들은 이미 보유한 데이터 가운데 단 12%만을 분석하고 있으며, 나머..