Scientific Computing & Data Science

by Geol Choi | March 26, 2014데이터베이스의 관리자 역할 중 가장 중요한 것 중 하나는 아마도 데이터를 안전하게 지키는 것이다. 이를 위해 가장 기본적인 일은 원본 데이터를 실시간에 가깝게 끊임없이 복제 데이터를 만드는 것이며, 마스터-슬레이브 복제(Master-Slave Replication) 모델이 이러한 기능을 수행하는 것이다. 즉, 원본 데이터는 마스터의 데이터베이스에 저장하고 하나 이상의 슬레이브를 만들어 각 슬레이브의 데이터베이스에 마스터의 데이터를 복제하는 것이다. 다음 그림은 클라이언트 어플리케이션과 마스터-슬레이브 간 관계를 설명한 것이다. [그림 1.] 클라이언트 어플리케이션-마스터(Primary)-슬레이브(Secondary) 간 데이터 관계. 마스터-슬레이브 복제..

by Geol Choi | March 25, 2014이번 글에서는 MongoDB의 관리자 입장에서 보안 측면을 다루도록 하겠다. 최근 금융권에서 일어나고 있는 개인정보 유출 사고를 보면 보안이 얼마나 중요한 일인지 새삼 깨닫는다. 특히 정보들이 DB에 저장될 것이므로 DB의 보안에 대한 중요성은 굳이 언급할 필요조차 없을 것이다.그러면 어떻게 하면 MongoDB가 안전한 환경에서 운용되도록 할 것인지에 대한 내용을 다루도록 하겠다. 관리자 계정MongoDB에는 admin이라는 데이터베이스가 기본적으로 존재한다. 어느 데이터베이스든 간에 사용자를 등록할 수 있지만, admin 데이터베이스에 사용자로 등록되면 일종의 관리자 권한이 부여된다. 즉, admin 외의 사용자는 다른 데이터베이스에 쓰기나 읽기가 불..

by Geol Choi | March 24, 2014MongoDB를 활용한 개발자가 아닌 관리자라면 성능과 헬스를 모니터링하는 것이 중요하다. MongoDB의 모니터링 전략은 세 가지 정도로 요약할 수 있다:첫번째, 데이터베이스의 활동을 실시간으로 리포팅하는 유틸리티를 활용하는 방법이다. 이 유틸리티는 MongoDB 다운로드 패키지에 포함되어 있다.두번째, 데이터베이스 명령을 활용하는 방법이다. 이 명령을 통해 현재 데이터베이스의 상태에 대한 통계를 확인할 수 있다.세번째, MMS 모니터링 서비스(MMS Monitoring Service)를 활용하는 방법이다.MMS는 MongoDB Management Service의 약자이며, 데이터에 대한 시각화 및 경고 등을 제공하는 서비스이며, MongoDB가 제공..

by Geol Choi | March 24, 2014이번 글에서는 MongoDB를 시작하는 것에 대해 알아보도록 하겠다. 이전의 내용들을 이해하거나 실습을 통해 학습하였다면 이미 시작하는 방법을 알고있는 것이라 할 수 있지만 이번 글에서는 시작과 관련된 여러가지 옵션 또는 셋팅에 대해 좀 더 자세히 다룰 것이다. 커맨드라인에서 시작하기커맨드라인 툴(Mac OS: Terminal, Windows: cmd)에서 MongoDB를 시작할 때 "mongod"를 실행한다. 이 명령어 실행 시 자주 사용되는 옵션에 대하여 정리하였다. --dbpath데이터가 저장될 디렉터리를 지정한다. 만약 이 옵션이 생략되면 디폴트로 Linux에서는 "/dada/db", Windows에서는 "C:\data\db\"로 지정된다.mon..

원문 : http://www.ciokorea.com/slideshow/20339?slide=1#stage_slide빅 데이터에 대한 기업들의 관심이 커지면서 IT전문가들의 연봉도 동반 상승하고 있다. 미국 IT전문 채용기업인 로버트하프테크놀로지는 자사의 2014 연봉 가이드에서 데이터/데이터 관리 부문의 IT직업 10종을 선정했다. 연봉이 가장 높은 직업은 데이터 웨어하우스(Data Warehouse) 관리자로, 초봉이 11만 5,250달러에서 15만 4,250달러 수준이다. BI 분석가들의 경우, 올해 최고 7.4% 인상을 기대할 수 있을 것이다. 데이터 관련 IT직업 10종의 연봉, 기술 요건, 일반적인 업무 등에 대해 좀 더 자세하게 살펴보도록 하자. 데이타 웨어하우스 관리자(Data Warehou..

원문: http://www.itworld.co.kr/news/86608자사에서 막대한 데이터를 다루고 있다면 하둡을 반드시 고려해봐야 한다. 한때 구글과 야후!와 같은 글로벌 인터넷 기업의 전유물이던 가장 인기있고 잘 알려진 빅데이터 관리 시스템이 이제 다른 기업에까지 확산되고 있다.거기에는 두 가지 이유가 있다. 첫째, 기업이 관리해야 될 데이터가 훨씬 많아졌고, 하둡은 기존의 정형 데이터와 새로운 비정형 데이터를 혼합하는데 탁월한 플랫폼이라는 점이다. 둘째, 수많은 개발업체가 하둡 지원과 서비스를 제공하는데 뛰어들어 기업 입장에서 선택의 폭이 늘어났다는 것이다.포레스터 2013년 4분기 소프트웨어 조사 보고서에 따르면, 대부분의 기업들은 이미 보유한 데이터 가운데 단 12%만을 분석하고 있으며, 나머..

원문 : http://www.ciokorea.com/news/20312사물인터넷(IOT)을 사용하는 기기는 빅 데이터를 만들어 내는데, 이 빅 데이터의 실시간 처리 및 분석 때문에 데이터센터 업체들의 부담이 커질 것이라는 전망이 나왔다.가트너의 최근 보고서 ‘사물인터넷이 데이터센터에 미치는 영향’에 따르면, 2020년 IoT 연결 기기 대수가 260억 대에 달하며 IoT 서비스 업체들이 3,000억 달러의 매출을 일으킬 것으로 예상됐다.그러나 가트너US의 애널리스트인 조 스코루파는 이러한 IoT 기기 대수 증가가 데이터센터 기술 업체에게 IoT 데이터의 양과 구조로 인한 더 많은 과제를 안겨줄 것이라고 주장했다."기존 데이터센터 광대역 네트워크(WAN) 링크는 사람과 앱의 상호작용으로 만들어지는 중간 대..

원문 : http://www.ciokorea.com/news/20292 미국의 일류 IT 기업 CEO들이은 빅 데이터 및 지능형 통합 시스템의 미래에 대해 우려를 표시했다. 이들은 의학에서부터 교육, 교통에 이르기까지 다양한 분야의 사회 문제들을 해결하는 데 이들 신기술이 큰 도움을 줄 것이라면서도, 정치권의 정책 결정자들이 걸림돌 수 있다고 지적했다. 델, IBM, 제록스 등의 임원들이 이번 주 테크놀로지 CEO 협회(Technology CEO Council)의 지원 아래 수도 워싱턴에 모였다. 이들은 데이터 경제가 위험에 처했다고 주장하며, 그 원인으로 보안 및 사생활 침해에 대한 우려, 보호주의 정책을 지목했다. CEO 협회 대표이자 제록스 회장인 우르슬라 번즈는 “지금 우리 앞에 놓인 가장 큰 장..

원문 : http://www.ciokorea.com/news/20271애널리틱스와 빅 데이터는 다양한 산업 영역에서 새로운 가치를 창출할 수 있는 도구다. 그러나 그 가운데서도 특히 두각을 나타내는 분야가 있다. 바로 스포츠 산업이다. 득점 기록에서 계약 서명, 부상 예방까지, 애널리틱스는 코치와 선수들에서 팀 사무실 직원들까지, 스포츠 산업의 모든 영역에 가치를 전달할 수 있다. 최근 보스톤에서는 스포츠 코치 및 선수진과 여타 시장의 선구적 전문가들이 한데 모여 스포츠 산업에서 애널리틱스 및 빅 데이터가 수행할 수 있는 역할에 관해 논의하는 2014 MIT 슬로건 스포츠 애널리틱스 컨퍼런스(MIT Sloan Sports Analytics Conference)가 진행됐다. 여기 컨퍼런스 현장에서 소개된,..

빅데이터의 현재 상태에 신속하게 반응하려면 유동 데이터가 필요하다. 신용카드 거래를 완료하거나 이메일을 보내려면, 데이터가 어느 한 위치에서 다른 위치로 전송되어야 한다. 데이터가 데이터 센터나 클라우드의 데이터베이스에 저장되어 있다면 그 데이터는 유동성이 없다. 반면, 데이터가 하나의 위치에서 다른 위치로 전송될 때 이 데이터는 유동적이다.비즈니스 인사이트를 얻기 위해 거의 실시간에 가깝게 방대한 양의 데이터를 처리해야 하는 기업들은 데이터가 계속적으로 흐르고 있는 동안에도 데이터를 정비하고 있을 가능성이 높다. 유동 데이터와 방대한 양의 데이터는 손에 손을 잡고 있다. 연속적인 스트림의 방대한 양의 데이터에 대한 많은 실세계 예시들이 현재 사용되고 있다:센서들은 고도로 민간한 의료 장비와 연결되어 성..