일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- c++
- Deep learning
- R
- data science
- Artificial Intelligence
- 빅데이타
- 빅 데이터
- 딥러닝
- 우리들교회
- Machine Learning
- 몽고디비
- probability
- Big Data
- openCV
- 빅 데이타
- WebGL
- No SQL
- Statistics
- 김양재
- MongoDB
- 확률
- 김양재 목사님
- 빅데이터
- 주일설교
- node.js
- 데이터 과학
- 통계
- 김양재 목사
- 인공지능
- nodeJS
- Today
- Total
목록데이터 과학 (50)
Scientific Computing & Data Science
원문 : http://www.ciokorea.com/news/106172011년 11월 2일 서울 양재동 엘타워에서 열린 ‘빅 데이터 월드 2011’의 부대행사로 마련된 CIO 라운드테이블에서 아마존의 데이터 마이너(Data Minor) 존 라우저가 데이터 과학자(Data Scientist)의 필요성에 대해 강조했다. 라우저는 최초의 데이터 과학자로 수학자이자 천문학자인 ‘토비어스 마이어’를 꼽았다. 라우저에 따르면, 토비어스 마이어는 1750년에 9개의 상수를 3개의 방정식에 적용해 27개의 공식으로 위도 측정의 오차를 최소화했다. 라우저는 “데이터가 많을수록 더 정확하게 측정할 수 있다는 것을 입증했기 때문에 마이어를 최초의 데이터 과학자로 볼 수 있다”라고 밝혔다. 라우저는 “데이터 과학자는 공학과..
원문 : http://www.ciokorea.com/news/9250지금까지 기업들이 BI나 데이터 웨어하우스(DW)에 IT예산을 쏟아부었지만, 원하는 분석 결과를 얻지 못했다. 분석툴에 문제가 있는 게 아니라, 좀더 근원적인 문제는 데이터 분석 결과를 읽고 이를 해석할 수 있는 능력을 지닌 '데이터 과학자(Data Scientist)'가 없다는 데서 출발한다. 데이터 과학자들은 똑똑하고 분석적이며 통계 모델을 사용해 거대한 정보로부터 쓸만한 결론을 이끌어 내는 것을 업으로 삼는 사람들이다. 데이터 과학자들에 대한 수요가 소프트웨어 엔지니어들만큼 많지는 않다. 그러나 데이터 마이닝과 데이터 과학 분야의 전문가들은 이러한 추세가 곧 변할 것이라고 예측하고 있다. 포레스터 리서치의 수석 애널리스트 브라이언 ..
원문 : http://www.ciokorea.com/news/10382IBM의 빅 데이터 제품 담당 부사장 앤줄 밤브리가 데이터 과학자(Data Scientist)의 역할이 무엇인지에 일문일답으로 설명했다 Q. 데이터 과학자란 무엇인가? A. 데이터 과학자란 실제 비즈니스 결과를 끌어내는 활동들간의 트렌드를 발견하기 위해 기업의 대용량 데이터를 분석하는 사람이다. 데이터 과학자들은 기업이 경쟁우위를 가지고 살아남으려면 무엇이 필요한 지를 제시할 수 있는 사람이다. 그들은 빅데이터에서 어떻게 하면 최대 가치를 끌어내고 새로운 정보를 통합할 지에 대해 C레벨 직접 임원들에게 조언을 주고 함께 일한다. 많은 방법으로 데이터 과학자는 오늘날의 업무에서 변화 담당자로서 부서를 조정하고 정보를 통합한다. Q. 어떤..
원문 : http://www.ciokorea.com/news/14901데이터 과학자는 빅 데이터 트렌드 속에서 부상하고 있는 대표적 직업군이다. 이들은 수 페타바이트(petabyte)의 데이터를 조작해 새로운 수익 가능성을, 그리고 궁극적으로는 비즈니스의 흐름을 만들어내는 전문가들이다. 맥킨지 글로벌 인스티튜트는 보고서를 통해 빅 데이터를 적절히 활용함으로써 기업들이 60% 이상의 영업 마진 증대 효과를 거둘 수 있을 것이라 설명한 바 있다. 그러나 많은 기업들이 그들이 보유한 데이터를 제대로 활용할 인재를 확보하는데 어려움을 겪고 있는 것 역시 사실이다. CIO들은 비즈니스적 통찰력과 데이터베이스 전문 기술, 그리고 커뮤니케이션 능력을 고루 갖춘 인재를 탐색하고 고용하는데 고군분투하고 있다. IT 채용..
원문 : http://www.ciokorea.com/news/20404빅 데이터가 부상하면서 기업들이 자사 IT 인력들을 데이터 과학자, 데이터 아키텍트, 데이터 시각화 전문가, 데이터 엔지니어 등 숙련된 고급 데이터 전문가로 강화하고자 애쓰고 있다. 현재 자신의 IT 기술력을 강화하고 새로운 경력 경로를 모색하고 있다면, 미국 대학 강의 무료로 들을 수 있는 웹사이트인 코세라(COURSERA)를 확인하길 바란다. 특히 존스홉킨스 대학은 데이터 과학에 특화된 수업을 9강좌나 시작하려고 한다. 스탠포드대학의 두 컴퓨터과학 교수인 앤드류 응과 다프네 콜러가 설립한 코세라는 컴퓨터과학, 생물학, 의학, 경영, 공학, 법학 등 수백 개의 대학 수업에 대해 온라인으로 무료로 접근할 수 있도록 했다. 브라운, 컬럼..
빅데이터의 현재 상태에 신속하게 반응하려면 유동 데이터가 필요하다. 신용카드 거래를 완료하거나 이메일을 보내려면, 데이터가 어느 한 위치에서 다른 위치로 전송되어야 한다. 데이터가 데이터 센터나 클라우드의 데이터베이스에 저장되어 있다면 그 데이터는 유동성이 없다. 반면, 데이터가 하나의 위치에서 다른 위치로 전송될 때 이 데이터는 유동적이다.비즈니스 인사이트를 얻기 위해 거의 실시간에 가깝게 방대한 양의 데이터를 처리해야 하는 기업들은 데이터가 계속적으로 흐르고 있는 동안에도 데이터를 정비하고 있을 가능성이 높다. 유동 데이터와 방대한 양의 데이터는 손에 손을 잡고 있다. 연속적인 스트림의 방대한 양의 데이터에 대한 많은 실세계 예시들이 현재 사용되고 있다:센서들은 고도로 민간한 의료 장비와 연결되어 성..
빅데이터 워크플로우를 이해하려면, 먼저 프로세스가 무엇인지 그리고 이것이 데이터-집약적 환경에서 워크플로우와 어떤 관련이 있는지를 이해해야 한다. 프로세스는 기업이나 기관들에서 의사결정 및 업무목표 규정에 유용한 고수준의 전체 구조로 설계된다.이와는 대조적으로, 워크플로우는 업무에 대한 개별적인 방향성을 두고 프로세스 보다 더욱 특정의 데이터를 요구한다. 프로세스는 프로세스의 전반적 목표에 상응하는 하나 이상의 워크플로우로 구성된다.방법론적 시각에서 볼 때 빅데이터 워크플로우는 표준 워크플로우와 유사하다. 사실 어느 워크플로우든 업무 목표를 달성하기 위해서는 각 단계에서 데이터가 필요하다. 헬스케어 상황에서의 워크플로우를 예로 들어보자.가장 기초적인 워크플로우는 "채혈" 프로세스이다. 채혈은 전반적인 진..
대부분의 빅데이터 관리 전문가들은 구조형 데이터베이스 관리 환경에서 메타데이터 관리의 필요성에 익숙하다. 이러한 데이터 소스들은 강한 유형적 틀을 지니며(예를 들어, 첫번째 10글자는 이름으로 정하는 것 등) 메타데이터 운영을 위해 설계되었다. 메타데이터가 비정형 구조 데이터에서는 존재하지 않는 것으로 가정하는 경우가 많은데 사실은 그렇지가 않다.통상적으로 어떤 유형의 데이터든지 구조를 발견할 수 있다. 비디오의 예를 들어 보자. 특정 비디오 콘텐츠를 정확히 알 수는 없지만 비디오 기반 데이터의 포맷 내에 많은 구조가 존재한다. 만약 비정형 구조의 텍스트를 본다면 영어로 씌어져 있는 단어들을 볼 수 있으며 적합한 툴을 적용한다면 텍스트를 해석할 수 있다.비정형 구조 데이터로부터 이러한 내포적 메타데이터로..
ETL 도구들은 하나의 빅데이터 환경에서 얻은 데이터를 다른 데이터 환경으로 이전하는데 필요한 세 가지 중요한 기능(추출(Extract), 변형(Transform), 불러내기(Load))을 결합한다. 전통적으로, ETL은 데이터 웨어하우스 환경에서 일괄 처리 작업을 하는데 사용되어 왔다. 데이터 웨어하우스는 사업자들에게 사업 중점에 관계되는 데이트에 대한 분석과 리포트를 강화하는 수단을 제공한다. ETL 도구들은 데이터 웨어하우스가 요구하는 포맷으로 데이터를 변형한다.변형은 사실상 데이터가 데이터 웨어하우스에 로딩되기 전 중간 위치에서 실행된다. IBM, Informatica, Pervasive, Talend, Pentaho를 포함한 많은 소프트웨어 벤더들이 ETL 소프트웨어 툴을 제공한다.ETL은 다음..
여러분은 빅데이터 분석에 대한 뉘앙스를 깨닫게 될 것이다. 이것은 정말 작은 데이터에 관한 것이다. 이것이 혼란스러워 보일 수도 있고 전체적인 전제에 위반되는 것처럼 보일 수도 있지만, 작은 데이터는 빅데이터 분석의 결과이다. 전혀 새로운 개념도 아니며, 오랜동안 데이터 분석을 해왔던 사람들에게 익숙하지 않은 것도 아니다. 전체 작업 공간은 커지고 있으나, 해답은 "작다"는 것 어딘가에 존재한다.전통적 데이터 분석은 고객 정보, 제품 정보, 거래 정보, 원격측정 데이터 등등으로 가득찬 데이터베이스로 시작했다. 그 당시에도 가용 데이터는 차거 넘쳐서 효율적인 데이터 분석이 불가능했다. 시스템, 네트워크, 소프트웨어는 스케일을 논할 만한 성능이나 용량이 되지 않았다. 산업 곳곳에서 보다 작은 데이터 세트를 ..