Scientific Computing & Data Science

원문: http://www.ciokorea.com/news/19808하둡 업체인 클라우데라가 클라우데라의 하둡 환경에서 실시간으로 데이터를 분석하는 아파치 스파크(Apacahe Spark) 프로그램의 상용 버전을 개발했다. 이 상용 버전은 스트림 처리와 빠른 기계 학습을 위한 하둡 사용을 확대할 수 있다. 클라우데라의 제품 마케팅 담당 이사 매트 브랜드웨인은 "데이터 과학자들이 스파크를 좋아한다"라고 밝혔다. 브랜드웨인은 "지금까지 보면, 하둡을 사용한다고 하면, 대게 맵리듀스를 쓴다고 할 수 있다. 그러나 맵리듀스는 정말 느리다"라며 “맵리듀스 프레임워크는 여러 읽기 및 기계 학습 임무를 수행하기 위해 디스크에 많이 기록해야 한다”고 지적했다. 데이터가 메모리 작업에 머물러 있는 동안 스파크는 이 작업..

원문: http://www.ciokorea.com/news/19807다트머스 아틀라스는 100TB 이상의 의료 관련 데이터를 보유하고 있다. 이 기관은 이 데이터를 이용해 의료 정책을 개선하고 서비스 품질을 측정할 수 있었다. 데이터 기반 지리정보를 결합해 활용했다. 지난 20년 간 다트머스 의료 정책 및 임상 진료 연구소(Dartmouth Institute for Health Policy and Clinical Practices)에서는 지역별, 시스템별 건강보험 종류를 조사해 왔다. 이 연구소는 다양한 건강 보험이 생겨나게 된 원인과 그 영향을 조사해 환자들이 지역의 의료 서비스를 더 잘 이해할 수 있도록 하는 것을 목표로 하고 있다. 연구소 소아과 의사이자 의료 정책 교수인 데이빗 C. 굿맨 박사는 ..

by Geol Choi | February 16, 2014MongoDB는 복잡한 데이터 분석을 위해 다양한 맵리듀스(Map Reduce) 등 다양한 집합(Aggregation) 도구를 제공한다. countcount 연산자는 컬렉션 내의 도큐먼트 개수를 파악할 수 있는 메써드이다.다음과 같이 "people" 컬렉션에 3개의 도큐먼트를 추가한 후,> db.people.insert({username: "user1"}); > db.people.insert({username: "user2"}); > db.people.insert({username: "user3"}); count() 메써드를 이용하여 개수를 구하면 다음과 같다:> db.people.find().pretty() { "_id" : ObjectId("5..

원문: http://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=105&oid=030&aid=0002258886삼성전자가 자사 제품의 고객 불만을 빅데이터 기술로 사전 탐지해 선제 대응한다. 사용자 게시판 등에 올라온 고객 불만이 큰 이슈로 확대되기 전에 미리 예측해 대응하겠다는 전략이다. 단순 검색엔진을 도입하는 수준에서 벗어나 대규모 `빅데이터` 플랫폼을 구축해 고객 불만에 선제 대응하는 것은 삼성전자가 국내 처음이다. 10일 업계에 따르면 삼성전자가 최신 빅데이터 기술을 결합해 `빅데이터 기반 고객소리(VOC) 통합관리시스템`을 개발하고 있다. 다음 달 중순 가동을 목표로 현재 개발 막바지 단계에 돌입한 것으로 확인됐다. 삼성전자는 주요 인터넷 사이트나..

원문: http://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=105&oid=029&aid=0002206020 정부ㆍ지자체 예산 확대 등 본격화 채비 금융권 `카드 사태` 후 지체와 대조적 올해 정부와 지방자치단체를 중심으로 공공 빅데이터 사업이 본격화되는 반면, 신용카드사 개인정보 유출 사태로 민간 부문은 크게 위축될 것으로 예상된다. 11일 업계에 따르면 공공부문에서 빅데이터를 통한 성공사례가 나오면서, 정부와 지자체 별로 빅데이터 사업을 지난해에 비해 확대했다. 반면 민간 부문에서는 카드사 정보 유출에 따른 사용자들의 반발이 높아져 예상보다 지체될 것으로 보인다. 공공 부문은 빅데이터를 통한 효율적인 정책이 효과를 보이면서 확산되는 추세다. 서울시는 ..

원문: http://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=105&oid=138&aid=0001990457 [디지털데일리 심재석기자] 스트븐 브롭스트 테라데이타 최고기술책임자(CTO)는 13일 서울 삼성동 코엑스인터콘티넨탈 호텔에서 열린 ‘테라데이타 유니버스 서울 2012’ 행사에서 두 차례에 걸쳐 열정적으로 기조연설을 했다. 때로는 맨말로 무대에 오르기도 한다는 그는 테라데이터에 대한 자부심이 넘쳐 보였다. 그는 테라데이타 CTO이자, 데이터 웨어하우징 분야의 세계적인 권위자로 평가받는 인물이다. 첫 연설에서 그는 ‘비즈니스 인텔리전스에서 절대 간과할 수 없는 네 가지 트렌드’라는 주제로 ▲센서기술 ▲비즈니스 인텔리전스의 일상화(pervasive BI..

원문: http://www.kookje.co.kr/news2011/asp/newsbody.asp?code=1700&key=20140212.22026195108최근 금융기관의 개인정보 유출로 온 나라가 공포에 휩싸였다. 개인에 관한 데이터가 그 개인은 물론 사회와 국가를 위협하는 엄청난 무기가 될 수 있음을 실감하기에 충분했다. 관련 회사의 대표가 줄사퇴하고 피해자들이 집단소송을 제기하는 등 여진이 이어지고 있다. 현대는 데이터 시대이다. 데이터를 어떻게 활용하는가에 따라 개인 삶의 질을 높일 수도 있고, 치명적인 피해를 줄 수도 있다. 불행히도 우리는 피해를 먼저 체감했지만 방대한 데이터를 통해 얻을 수 있는 이점까지 간과할 수는 없다. 이는 얼마 전 정부가 발표한 '정부 3.0 추진 기본계획'과도 맥을..

원문: http://www.apparelnews.co.kr/naver/view.php?iid=49263롯데와 신세계를 필두로 한 백화점 빅3가 온라인 사업을 강화하고 있다. 업계에 의하면 백화점과 아울렛, 대형마트 등 오프라인 유통을 장악하고 있는 빅3가 인터넷 쇼핑몰과 TV홈쇼핑, 모바일까지 온라인 사업에 대한 인적, 물적 투자를 확대하고 있다. 특히 3사 모두 각 계열사들이 개별 운영하던 온라인 쇼핑몰을 단일 관리 시스템으로 통합하고, 오픈 마켓에 진출하는 등 규모의 경제를 건설 중이다. 이는 오프라인 유통이 출점과 성장에 한계를 맞음에 따라 꾸준한 성장세를 유지하고 있는 온라인 사업에 중장기 비전을 갖게 된 때문으로 풀이된다. 결제 시스템, 쇼핑몰 구축과 운영 대행, 물류 등 메인 프로젝트를 뒷받침..

원문: http://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=105&oid=138&aid=0002015299[디지털데일리 심재석기자] 흔히 빅데이터를 정의할 때 3V라고 말한다. 데이터의 크기(Volume), 데이터가 새로 생성되는 속도(Velocity), 데이터 종류의 다양성(Variety) 면에서 기존과 차원이 다른 모습을 보여주는 것을 빅데이터라고 부른다. 이같은 빅데이터는 사물인터넷(IoT) 시대에 더욱 중요한 요소가 됐다. 센서네트워크에서 쏟아지는 실시간 데이터들은 V3의 특징을 고스란히 갖고 있기 때문이다. 이 데이터들은 끊임없이 빠른 속도로 쏟아지고, 기존의 정형 데이터의 모습을 갖추고 있지 않다. 데이터의 크기는 두말할 나위도 없다. 실제로..

by Geol Choi | February 9, 2014이전 글에서 약속하였듯이 이번 글에서는 "$snapshot" 쿼리 옵션에 대해서 자세히 알아보도록 하겠다. 일반적인 데이터 처리 절차는 다음과 같다: MongoDB로부터 도큐먼트를 불러오고, 이에 대한 처리를 한 후, 처리에 대한 결과를 다시 저장한다. 예를 들어 다음 코드를 살펴보자.cursor = db.myCollection.find(); while (cursor.hasNext()) { var doc = cursor.next(); doc = process(doc); db.myCollection.save(doc); } 위의 코드 내용을 살펴보면,변수 "cursor"에 myCollection으로부터 검색된 도큐먼트를 저장하였으며,"cursor"에 저..