일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- 통계
- 김양재 목사님
- 데이터 과학
- 인공지능
- nodeJS
- 빅데이터
- 몽고디비
- Statistics
- probability
- 김양재
- 딥러닝
- 빅 데이타
- 우리들교회
- Big Data
- 김양재 목사
- 확률
- data science
- 빅 데이터
- Artificial Intelligence
- openCV
- No SQL
- node.js
- 빅데이타
- c++
- R
- WebGL
- Deep learning
- 주일설교
- Machine Learning
- MongoDB
- Today
- Total
목록데이터과학 (24)
Scientific Computing & Data Science
* 이 글은 Data Science Central의 "Difference between Machine Learning, Data Science, AI, Deep Learning, and Statistics"을 번역한 것이다. 이번 글에서는 데이터 과학자의 다양한 역할과 머신러닝, 딥 러닝, AI, 통계학, IoT, 오퍼레이션 리서치, 응용 수학 등과 같은 관련 분야와 데이터 과학이 어떻게 다른지 공통점은 무엇인지 기술하고자 한다.데이터 과학은 넓은 분야를 포괄하는 만큼, 어떤 사업 분야에서도 마주칠 수 있는 데이터 과학자의 다양한 유형에 대해 살펴보기록 한다: 각자는 자신이 미처 몰랐던 스스로가 데이터 과학자임을 깨닫게 될 수도 있다.다른 과학 분야의 소양과 마찬가지로, 데이터 과학자들은 관련 소양으로부..
원문 : http://www.bloter.net/archives/265786 최근 IT 업계에서 가장 성장하고 있는 분야 중 하나는 데이터과학이다. 국내외 대기업부터 스타트업까지 데이터의 중요성을 강조하고, 기업은 실력 있는 데이터과학자 찾기에 분주하다. 하지만 생각보다 데이터과학자가 무엇을 하는 사람인지, 무엇을 준비해야 데이터과학자가 될 수 있는지 아는 사람은 많지 않다. 지난 10월14일, 데이터과학자들이 함께 모여 기술과 경험을 공유하는 장이 열렸다. ‘데이터야 놀자’에서 데이터 과학자를 꿈꾸는 사람이나 데이터분석 조직을 준비하는 이들에게 도움이 될만한 이야기를 들을 수 있었다.데이터엔지니어, 데이터애널리스트, 데이터사이언티스트?업계에서 데이터과학자가 하는 일은 생각보다 다양하다. 그러다보니 직함..
Data science의 process는 다음과 같이 정리할 수 있다: 1. 질문하기 2. 배경연구(Background Research) 하기 3. 가설(hypothesis) 세우기 4. 실험을 통해 가설 검증하기 5. 데이터 분석 및 결론 이끌어 내기 6. 결과에 대한 토의하기기 결국 Data Science도 여타의 과학에 대한 절차와 거의 동일함을 알 수 있다.
이번 글에서는 R의 데이터 시각화 패키지인 rCharts를 이용하여 데이터를 시각화하는 방법에 대하여 알아보도록 하겠다. 첫번째 순서로 rPlot을 이용하여 scatter plot을 그려보도록 한다. [데이터 가공] 우선 공공데이터 포털(www.data.go.kr)로부터 데이터 시각화를 위한 테스트 데이터를 얻는다. 얻고자 하는 데이터는 "국가별 경제지표 중 2010년 이후 지역별 수출선행지수 분기별 추이"이다. 직접 사이트를 방문하여 데이터를 다운로드하여도 되고 다음 링크를 클릭하여 다운로드 해도 된다. 데이터를 살펴보면 다음과 같다:,2012 Q1,2012 Q2,2012 Q3,2012 Q4,2013 Q1,2013 Q2,2013 Q3,2013 Q4,2014 Q1,2014Q2,2014Q3,2014Q4 유..
by Geol Choi | December 14, 2014 이번 글에서는 기울기 \(\beta_{1}\)에 대한 추정에 대하여 알아보도록 하자. 우선 이론적 배경을 살펴보도록 하고 R 코드를 이용하여 예제를 통해 이해하도록 한다.Theoretical Background기울기 \(\beta_{1}\)은 실험자에게 특별한 관심 대상인데, 실험 값 x와 이에 대한 결과 값 y의 상관성 지표를 나타내기 때문이다. 기울기 값에 대한 신뢰 구간(confidence interval)을 계산하는 것과 기울기 값이 특정 값을 값는 것에 대한 가설을 테스트하는 것은 매우 유용하다. \(\beta_{1}\)을 실험 데이터에 대한 알려지지 않은 참값(True Value)라고 하고 \(\hat{\beta}_1\)을 데이터 세트..
원문 : http://www.ciokorea.com/news/14901데이터 과학자는 빅 데이터 트렌드 속에서 부상하고 있는 대표적 직업군이다. 이들은 수 페타바이트(petabyte)의 데이터를 조작해 새로운 수익 가능성을, 그리고 궁극적으로는 비즈니스의 흐름을 만들어내는 전문가들이다. 맥킨지 글로벌 인스티튜트는 보고서를 통해 빅 데이터를 적절히 활용함으로써 기업들이 60% 이상의 영업 마진 증대 효과를 거둘 수 있을 것이라 설명한 바 있다. 그러나 많은 기업들이 그들이 보유한 데이터를 제대로 활용할 인재를 확보하는데 어려움을 겪고 있는 것 역시 사실이다. CIO들은 비즈니스적 통찰력과 데이터베이스 전문 기술, 그리고 커뮤니케이션 능력을 고루 갖춘 인재를 탐색하고 고용하는데 고군분투하고 있다. IT 채용..
원문 : http://www.ciokorea.com/news/18948빅 데이터와 관련해 여러 미디어들은 엄청난 돈을 들여 기술 좋은(그리고 돈도 많이 받는) 데이터 과학자를 고용해야 한다고 호들갑이다. 하지만 미디어만 믿고 대학원 지원서를 썼다간 낭패를 볼 지도 모른다. 대부분 기업들은 빅 데이터를 ‘스마트 데이터’로 전환시키기 위해 데이터 과학자를 새로 고용하는 대신 데이터 분석 기술을 강화하고 기존 직원들을 교육하는데 초점을 맞추고 있기 때문이다. 중소기업과 ‘빅 데이터’일단 대부분의 중소기업들은 요즘 한창 난리인 빅 데이터 열풍에 크게 동조하지 못하고 있다는 진단이다. 컴티아 연구소장 팀 허버트는 중소기업 문제의 대부분이 실제로 빅 데이터와 관계가 없는 것이기에 이와 관련해 새로운 인력을 고용하는..
원문 : http://www.ciokorea.com/news/20404빅 데이터가 부상하면서 기업들이 자사 IT 인력들을 데이터 과학자, 데이터 아키텍트, 데이터 시각화 전문가, 데이터 엔지니어 등 숙련된 고급 데이터 전문가로 강화하고자 애쓰고 있다. 현재 자신의 IT 기술력을 강화하고 새로운 경력 경로를 모색하고 있다면, 미국 대학 강의 무료로 들을 수 있는 웹사이트인 코세라(COURSERA)를 확인하길 바란다. 특히 존스홉킨스 대학은 데이터 과학에 특화된 수업을 9강좌나 시작하려고 한다. 스탠포드대학의 두 컴퓨터과학 교수인 앤드류 응과 다프네 콜러가 설립한 코세라는 컴퓨터과학, 생물학, 의학, 경영, 공학, 법학 등 수백 개의 대학 수업에 대해 온라인으로 무료로 접근할 수 있도록 했다. 브라운, 컬럼..
빅데이터의 현재 상태에 신속하게 반응하려면 유동 데이터가 필요하다. 신용카드 거래를 완료하거나 이메일을 보내려면, 데이터가 어느 한 위치에서 다른 위치로 전송되어야 한다. 데이터가 데이터 센터나 클라우드의 데이터베이스에 저장되어 있다면 그 데이터는 유동성이 없다. 반면, 데이터가 하나의 위치에서 다른 위치로 전송될 때 이 데이터는 유동적이다.비즈니스 인사이트를 얻기 위해 거의 실시간에 가깝게 방대한 양의 데이터를 처리해야 하는 기업들은 데이터가 계속적으로 흐르고 있는 동안에도 데이터를 정비하고 있을 가능성이 높다. 유동 데이터와 방대한 양의 데이터는 손에 손을 잡고 있다. 연속적인 스트림의 방대한 양의 데이터에 대한 많은 실세계 예시들이 현재 사용되고 있다:센서들은 고도로 민간한 의료 장비와 연결되어 성..
대부분의 빅데이터 관리 전문가들은 구조형 데이터베이스 관리 환경에서 메타데이터 관리의 필요성에 익숙하다. 이러한 데이터 소스들은 강한 유형적 틀을 지니며(예를 들어, 첫번째 10글자는 이름으로 정하는 것 등) 메타데이터 운영을 위해 설계되었다. 메타데이터가 비정형 구조 데이터에서는 존재하지 않는 것으로 가정하는 경우가 많은데 사실은 그렇지가 않다.통상적으로 어떤 유형의 데이터든지 구조를 발견할 수 있다. 비디오의 예를 들어 보자. 특정 비디오 콘텐츠를 정확히 알 수는 없지만 비디오 기반 데이터의 포맷 내에 많은 구조가 존재한다. 만약 비정형 구조의 텍스트를 본다면 영어로 씌어져 있는 단어들을 볼 수 있으며 적합한 툴을 적용한다면 텍스트를 해석할 수 있다.비정형 구조 데이터로부터 이러한 내포적 메타데이터로..