Scientific Computing & Data Science

by Geol Choi | May 14, 2017 지난 번 포스팅에서 유명 야구 데이터 사이트인 baseball-reference.com으로부터 데이터를 가져오는 방법에 대해 알아보았다. 해당 포스팅을 보시고, 동일한 방법으로 KBO 리그 데이터에 대한 웹스크랩핑을 시도해 보았는데 실패했다는 문의를 이메일을 통해 전달받았다. 그래서 직접 시도해 보기로 했다. 대상 웹페이지는 네이버 야구 기록실 페이지이며, 이 중 팀순위 기록 가져오기를 시도해 보았다. 지난 포스팅과 동일한 코드로 시도를 해 보았다 (단, 지난 포스팅의 코드와는 달리 네이버 야구기록 페이지에서는 HTML 주석문 처리를 할 필요가 없어서 주석문 제거를 위한 코드는 생략하였다): R CODE:############################..

Lahman 데이터를 이용한 야구 데이터 분석 Part 1. - 데이터 준비CONTENTS1. MLB 데이터 준비2. R의 Working Directory 구조3. MongoDB에 데이터 삽입 (Optional)4. MongoDB로부터 데이터 불러오기5. 맺음말 본 포스팅에서는 Database Journalist인 Sean Lahman의 최신 데이터를 이용하여 MLB에 대한 분석을 시도해 보고자 한다. 처음에는 KBO 데이터를 분석해보고자 하였지만, 데이터를 얻기가 불편하고 초기 준비 단계가 많아 데이터 획득이 훨씬 수월하고 방대한 데이터를 보유하고 참고자료가 풍성한 MLB부터 시도해 보기로 하였다. 차후에는 KBO 데이터를 획득부터 분석까지 시도해 보기록 하겠다. 분석 환경은 가장 인기있는 통계처리 언..

원문: http://www.ciokorea.com/news/19807다트머스 아틀라스는 100TB 이상의 의료 관련 데이터를 보유하고 있다. 이 기관은 이 데이터를 이용해 의료 정책을 개선하고 서비스 품질을 측정할 수 있었다. 데이터 기반 지리정보를 결합해 활용했다. 지난 20년 간 다트머스 의료 정책 및 임상 진료 연구소(Dartmouth Institute for Health Policy and Clinical Practices)에서는 지역별, 시스템별 건강보험 종류를 조사해 왔다. 이 연구소는 다양한 건강 보험이 생겨나게 된 원인과 그 영향을 조사해 환자들이 지역의 의료 서비스를 더 잘 이해할 수 있도록 하는 것을 목표로 하고 있다. 연구소 소아과 의사이자 의료 정책 교수인 데이빗 C. 굿맨 박사는 ..

Written by cinema4dIncrementing & DecrementingThe "$inc" modifier changes the value for an existing key which is type "number" or creates a new key of type "number" if not exist.Suppose we are managing the scores of students, for example: // define var student1 = {"name" : "gchoi", "score" : 90}; var student2 = {"name" : "jmpark", "score" : 40}; // insert db.student.insert(student1); db.student...

Written by cinema4dUpdate items using "$set" modifier : "$set" modifier adds item(s) if the relevant key exists or creates the key when absent. Type the following for data preparation: // drop the current database db.dropDatabase() // define webpage1 var user1 = {"username" : "gchoi", "age" : 37, "sex" : "male"} // insert items into DB db.users.insert(user1) db.users.find() Result: > db.users.fi..

Written by cinema4dSometimes you may want to modify only a certain portion of document. Using update modifiers you can do that by atomic level such as altering, adding or removing keys and even manipulating arrays and embedded documents. Assume that you have three webpages to manage and you are going to update pageviews - automatically increase by 1 when visiting. Type the following for data pre..

오늘날 마켓에는 수많은 벤더들이 비즈니스를 위한 빅데이터 솔루션 니즈의 증가에 대응하고 있다. 빅데이터 솔루션을 제공하는 몇몇 흥미로운 기업들에 대해 소개하고자 한다:IBM은 빅데이터에 대해 기업용 솔루션 개발에 초점을 맞추고 있으며 IBM이 보유한 분석법을 임베드하거나 번들형을 포함한 플랫폼 통합형 솔루션을 제공하고 있다. IBM 제품들은 빌트입 데이터 마이닝을 갖는 웨어하우스 (InfoSphere warehouse)를 포함한다. IBM의 새로운 PureData Systems(통합형 시스템 플랫폼으로 고급 분석법 기술을 패키지화)는 다양한 통합 분석 패키지를 포함한다. IBM의 InforSphere Streams 제품은 사회과학 전문 통계 소프트웨어(SPSS)와 밀접하게 통합되어 실시간 데이터에 기반한..

빅데이터가 매우 활용가치가 높은 것은 누구나 알고 있는 사실이지만 분석 방법에 대해 아는 이들은 그리 많지 않다. Amazon과 Google 등은 빅데이터를 분석하는 최고의 역량을 지닌 기업들이다. 또한 이들 기업은 경쟁력 우위를 점하기 위한 지식을 보유하고 있다.Amazon의 추천 엔진을 생각해 보자. 이 엔진은 꽤 훌륭한 상품 추천을 위해 여러분의 구매 이력과 함께 구매 패턴, 여러분과 유사한 구매자의 구매 패턴까지도 알고 있다. 이것은 마켓팅 머쉰이며 이것의 빅데이터 분석 능력은 Amazon을 성공으로 이끌었다.빅데이터 분석 능력은 여러분의 조직에도 독특한 기회를 제공한다. 여러분이 할 수 있는 분석 방법을 늘릴 수 있을 것이다. 샘플링 된 큰 데이터 셋에 제한되는 대신, 분석을 위한 보다 자세하고..