Scientific Computing & Data Science

원문: https://github.com/h2oai/h2o-tutorials/blob/master/tutorials/intro-to-datascience/intro-to-datascience.pdf

이 글은 Data Science Central의 Deep Learning: Definition, Resources, Comparison with Machine Learning을 번역한 것입니다. 딥 러닝은 이따금 머신러닝과 인공지능 간의 교차점으로 불리기도 한다. 딥 러닝은 타겟 테러리스트를 감지하기 위해 드론에서 사용되는 얼굴 인식 기술 등과 같이 로봇을 지능화할 수 있는 알고리즘 및 비행기, 기차, 보트, 자동차가 자동으로 주행할 수 있도록 하는 패턴 인식 / 컴퓨터 비전 알고리즘을 설계하는 것과 관련이 깊다.다수의 딥 러닝 알고리즘들(클러스터링, 패턴 인식, 자동경매, 추천 엔진 등)은 IoT, 머신-머신 통신 등과 같은 새로운 맥락에 등장한다고 하더라도 로지스틱 회귀분석, SVM, 결정 트리(De..

이 글에 소개되는 기술들은 대부분의 데이터 과학자 및 관련 업계 종사자들이 매일의 업무에 사용하는 기술로써 벤더가 제공하거나 직접 설계해서 쓰는 툴들이다. 아래 40개 중 어느 링크를 클릭하면 논의가 되고 있는 관련 글을 자세하게 읽을 수 있다. 이들 대부분의 글들은 구글 검색으로는 찾기 어렵기 때문에 데이터 과학, 머신러닝, 통계 과학에 대한 숨은 문헌에 접근하는 것이 된다. 이들 중 대다수는 논의가 되고 있는 기술에 대한 근본적인 이해를 돕고자 하는 것이며, 심도있는 참고문헌 및 소스코드를 제공한다.별표(*)가 되어있는 기술들은 소위 딥 데이터 과학(Deep Data Science)에 속하며, 이는 머신러닝, 컴퓨터 과학, 오퍼레이션 연구, 수학, 통계학 등의 분야와 조금이라도 겹치는 데이터 과학의 ..

데이터 과학이 R, Python, Hadoop, SQL 및 전통적 머신러닝 또는 통계 모델링에 대한 것이라고 믿는 사람들이 많다. 아래의 글들은 데이터 과학이 얼마나 현대적이며, 넓고 깊은 분야인지를 기본적으로 보여준다. 어떤 데이터 과학자들은 실제로 위에 나열된 것들 중 아무 것도 하지 않는다. 어떠한 코딩도 하지 않고, 대신, 머신 간 통신 프레임워크에서 다양한 어플리케이션들이 서로 대화하도록 하는 일을 데이터 과학자도 있다. 그러나 대부분의 데이터 과학자들이 R, Python, Hadoop 관련 시스템을 사용하는 것은 사실이다.심층 데이터 과학에 대한 글(아래 참고)을 읽어보면 데이터 과학 또한 많은 사람들(자신을 데이터 과학자라고 부르는 사람들)이 반복적으로 하는 일을 자동화하는 것을 알 수 있다..

* 이 글은 Data Science Central의 "Difference between Machine Learning, Data Science, AI, Deep Learning, and Statistics"을 번역한 것이다. 이번 글에서는 데이터 과학자의 다양한 역할과 머신러닝, 딥 러닝, AI, 통계학, IoT, 오퍼레이션 리서치, 응용 수학 등과 같은 관련 분야와 데이터 과학이 어떻게 다른지 공통점은 무엇인지 기술하고자 한다.데이터 과학은 넓은 분야를 포괄하는 만큼, 어떤 사업 분야에서도 마주칠 수 있는 데이터 과학자의 다양한 유형에 대해 살펴보기록 한다: 각자는 자신이 미처 몰랐던 스스로가 데이터 과학자임을 깨닫게 될 수도 있다.다른 과학 분야의 소양과 마찬가지로, 데이터 과학자들은 관련 소양으로부..

원문 : http://www.bloter.net/archives/265786 최근 IT 업계에서 가장 성장하고 있는 분야 중 하나는 데이터과학이다. 국내외 대기업부터 스타트업까지 데이터의 중요성을 강조하고, 기업은 실력 있는 데이터과학자 찾기에 분주하다. 하지만 생각보다 데이터과학자가 무엇을 하는 사람인지, 무엇을 준비해야 데이터과학자가 될 수 있는지 아는 사람은 많지 않다. 지난 10월14일, 데이터과학자들이 함께 모여 기술과 경험을 공유하는 장이 열렸다. ‘데이터야 놀자’에서 데이터 과학자를 꿈꾸는 사람이나 데이터분석 조직을 준비하는 이들에게 도움이 될만한 이야기를 들을 수 있었다.데이터엔지니어, 데이터애널리스트, 데이터사이언티스트?업계에서 데이터과학자가 하는 일은 생각보다 다양하다. 그러다보니 직함..

Written by CINEMA4D데이터 과학에 있어 데이터를 처리하는 순서는 다음 그림과 같다: [실세계]각종 포털사이트, 온/오프라인 쇼핑몰, Facebook, Google+, Twitter와 같은 SNS 등 데이터를 수집할 수 있는 모든 데이터 원천을 의미한다. [미가공 데이터]실세계로부터 얻어진 데이터는 가공되지 않은 형태의 "있는 그대로의 데이터(Raw Data)"로 존재한다. 이것은 로그 파일, 이메일, 동영상, 음성 등 다양한 비정형 데이터로 존재할 가능성이 높으며 정형화 된 형태일지라도 데이터가 유실될 경우도 많다. [데이터 처리]미가공 데이터는 R, Python, Ruby 등과 같은 데이터 처리 도구를 통하여 처리되고 SQL, NoSQL 등과 같은 데이터 쿼리 언어를 통해 데이터를 저장한..

이번 글에서는 한 대학의 동문들이 기부한 기부금에 대한 데이터 마이닝 연습을 해보도록 한다. [데이터 준비하기]우선 다음 CSV 파일을 다운받고 R의 working directory에 저장한다: 그래픽 처리를 위한 lattice 라이브러리를 임포트하고 위에 첨부한 CSV 파일의 데이터를 불러내어 don이라는 변수에 저장한다. > library("lattice") > don = read.csv("contribution.csv") 우선 don의 항목을 살펴보자:> names(don) [1] "Gender" "Class.Year" "Marital.Status" "Major" "Next.Degree" [6] "FY04Giving" "FY03Giving" "FY02Giving" "FY01Giving" "FY00G..

'데이터 마이닝'이란 금을 채광(Gold Mining)하는 것처럼, 획득된 데이터로부터 의미있거나 가치있는 정보를 발견하는 일을 의미한다. 이러한 활동을 통해 기업들은 소비자들이 원하는 것이 무엇인지 발견하여 마켓팅으로 활용하거나 새로운 비즈니스의 기회를 모색할 수도 있다. 또한 각종 정부기관들은 재난사고를 미리 예측하여 사고를 예방하거나 여론을 파악하는데 활용할 수도 있다.데이터 마이닝은 데이터로부터 가치를 발견한다는 점에서 단순 데이터 분석과는 차별된다. 단, 데이터 마이닝을 위해서는 획득할 수 있는 데이터의 범주가 다양할 수록 좋다. 왜냐하면 데이터의 범주가 다양할 수록 다양한 의미를 발견할 가능성이 높아지기 때문이다.데이터에 대해 많은 의존을 하는 스포츠 중의 하나인 야구를 예로 들어보자. 우리나..

원문 : http://www.ciokorea.com/news/16525이어지는 경기 불황, 그리고 그로 인한 고용시장의 침체는 앞으로도 한동안 구직자들을 힘겹게 할 전망이다. 그러나 이런 시장 상황 속에서도 ‘떠오르는' 직종은 있다. 데이터 과학자가 바로 그것이다. 데이터 과학자는 CNN을 통해서도 2012년 최고의 신규 유망 직종으로, 또 하버드 비즈니스 리뷰(Harvard Business Review)를 통해서도 21세기의 ‘가장 매력적인' 직종으로 선정된 바 있다.데이터 과학자에 대한 이러한 평가는 빅 데이터 및 애널리틱스와 관련한 시장 전반의 관심과 관련 있다. 쏟아지고 있는 막대한 정보들 속에서 의미 있는 요소를 발굴하고 그것을 비즈니스 가치로 연결하는 것이 바로 데이터 과학자의 역할이기 때문이..