Scientific Computing & Data Science

원문: http://www.ciokorea.com/news/19880AIIM(Association for Information and Image Management)의 임원 리더십 위원회 씽크탱크는 불확실성을 줄이고 투자를 분산하기 위해, 그리고 신규 제품/서비스 활동을 조정하기 위해 포-박스 매트릭스(four-box matrix)라는 이름의 방법론을 활용하고 있다. 이는 우측 상단에는 ‘중요하고 어려운' 활동을, 그리고 좌측 하단에는 ‘중요하지 않고 쉬운' 활동을 배치하는 간단한 방식이지만 놀라울 정도로 강력한 도구다. 20 개 산업 분야의 임원 40 인과의 일 년에 걸친 토론을 통해 필자는 시장의 모든 기업들이 빅 데이터를 포-박스 매트릭스의 우측 상단에 배치하고 있다는 사실을 확인할 수 있었다. 빅..

원문: http://www.ciokorea.com/news/19843미국에서 빅 데이터 언어, 데이터베이스, 기술을 마스터한 IT전문가의 연봉이 가장 높은 것으로 조사됐다. 지난해 IT전문가들의 급여가 약 3% 상승한 가운데 빅 데이터 관련 언어, 데이터베이스, 기술에 대한 전문성을 갖춘 IT전문가들이 가장 연봉의 높았던 것으로 나타났다. IT전문 헤드헌팅 기업인 다이스닷컴(Dice.com)의 2013-2014 급여 소자에 따르면, 미국 IT전문가들의 평균 연봉은 2013년 8만 7,811달러로 전년의 8만 5,519달러보다 상승했다. 더욱 놀라운 조사 결과는 연봉이 높은 상위 10대 IT직종 9개가 모두 빅 데이터와 관련한 것들로 조사됐다. 다이스닷컴의 조사 결과 가장 많은 연봉을 받은 것으로 나타난 ..

원문: http://www.ciokorea.com/news/19824웹 애널리틱스 기업 라이브퍼슨(LivePerson)이 디지털 상호작용 툴(digital engagement tool)에 대한 투자 증가를 예측했다. 회사의 APAC VP이자 제너럴 매니저 더스틴 딘은 브랜드 차별화 수단으로 '혁신적이고 유의미한 서비스'를 검토하는 기업이 증가할 것이라며, 이는 디지털 고객이 부상하고 그들이 즉각적인 만족을 추구함에 따라 나타나는 결과라고 진단했다. 그는 "고객의 기대치가 과거 어느 때보다 높다. 호주 온라인 고객의 62%가 5분 이내에 온라인으로 도움을 받아볼 수 있기를 기대하고 있다"라고 말했다. 이는 라이브퍼슨이 1,000여 명 이상의 고객을 대상으로 진행한 설문조사에서 도출된 결과다. 이 설문에서는..

원문: http://www.ciokorea.com/news/19808하둡 업체인 클라우데라가 클라우데라의 하둡 환경에서 실시간으로 데이터를 분석하는 아파치 스파크(Apacahe Spark) 프로그램의 상용 버전을 개발했다. 이 상용 버전은 스트림 처리와 빠른 기계 학습을 위한 하둡 사용을 확대할 수 있다. 클라우데라의 제품 마케팅 담당 이사 매트 브랜드웨인은 "데이터 과학자들이 스파크를 좋아한다"라고 밝혔다. 브랜드웨인은 "지금까지 보면, 하둡을 사용한다고 하면, 대게 맵리듀스를 쓴다고 할 수 있다. 그러나 맵리듀스는 정말 느리다"라며 “맵리듀스 프레임워크는 여러 읽기 및 기계 학습 임무를 수행하기 위해 디스크에 많이 기록해야 한다”고 지적했다. 데이터가 메모리 작업에 머물러 있는 동안 스파크는 이 작업..

원문: http://www.ciokorea.com/news/19807다트머스 아틀라스는 100TB 이상의 의료 관련 데이터를 보유하고 있다. 이 기관은 이 데이터를 이용해 의료 정책을 개선하고 서비스 품질을 측정할 수 있었다. 데이터 기반 지리정보를 결합해 활용했다. 지난 20년 간 다트머스 의료 정책 및 임상 진료 연구소(Dartmouth Institute for Health Policy and Clinical Practices)에서는 지역별, 시스템별 건강보험 종류를 조사해 왔다. 이 연구소는 다양한 건강 보험이 생겨나게 된 원인과 그 영향을 조사해 환자들이 지역의 의료 서비스를 더 잘 이해할 수 있도록 하는 것을 목표로 하고 있다. 연구소 소아과 의사이자 의료 정책 교수인 데이빗 C. 굿맨 박사는 ..

by Geol Choi | February 16, 2014MongoDB는 복잡한 데이터 분석을 위해 다양한 맵리듀스(Map Reduce) 등 다양한 집합(Aggregation) 도구를 제공한다. countcount 연산자는 컬렉션 내의 도큐먼트 개수를 파악할 수 있는 메써드이다.다음과 같이 "people" 컬렉션에 3개의 도큐먼트를 추가한 후,> db.people.insert({username: "user1"}); > db.people.insert({username: "user2"}); > db.people.insert({username: "user3"}); count() 메써드를 이용하여 개수를 구하면 다음과 같다:> db.people.find().pretty() { "_id" : ObjectId("5..

원문: http://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=105&oid=030&aid=0002258886삼성전자가 자사 제품의 고객 불만을 빅데이터 기술로 사전 탐지해 선제 대응한다. 사용자 게시판 등에 올라온 고객 불만이 큰 이슈로 확대되기 전에 미리 예측해 대응하겠다는 전략이다. 단순 검색엔진을 도입하는 수준에서 벗어나 대규모 `빅데이터` 플랫폼을 구축해 고객 불만에 선제 대응하는 것은 삼성전자가 국내 처음이다. 10일 업계에 따르면 삼성전자가 최신 빅데이터 기술을 결합해 `빅데이터 기반 고객소리(VOC) 통합관리시스템`을 개발하고 있다. 다음 달 중순 가동을 목표로 현재 개발 막바지 단계에 돌입한 것으로 확인됐다. 삼성전자는 주요 인터넷 사이트나..

원문: http://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=105&oid=029&aid=0002206020 정부ㆍ지자체 예산 확대 등 본격화 채비 금융권 `카드 사태` 후 지체와 대조적 올해 정부와 지방자치단체를 중심으로 공공 빅데이터 사업이 본격화되는 반면, 신용카드사 개인정보 유출 사태로 민간 부문은 크게 위축될 것으로 예상된다. 11일 업계에 따르면 공공부문에서 빅데이터를 통한 성공사례가 나오면서, 정부와 지자체 별로 빅데이터 사업을 지난해에 비해 확대했다. 반면 민간 부문에서는 카드사 정보 유출에 따른 사용자들의 반발이 높아져 예상보다 지체될 것으로 보인다. 공공 부문은 빅데이터를 통한 효율적인 정책이 효과를 보이면서 확산되는 추세다. 서울시는 ..

원문: http://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=105&oid=138&aid=0001990457 [디지털데일리 심재석기자] 스트븐 브롭스트 테라데이타 최고기술책임자(CTO)는 13일 서울 삼성동 코엑스인터콘티넨탈 호텔에서 열린 ‘테라데이타 유니버스 서울 2012’ 행사에서 두 차례에 걸쳐 열정적으로 기조연설을 했다. 때로는 맨말로 무대에 오르기도 한다는 그는 테라데이터에 대한 자부심이 넘쳐 보였다. 그는 테라데이타 CTO이자, 데이터 웨어하우징 분야의 세계적인 권위자로 평가받는 인물이다. 첫 연설에서 그는 ‘비즈니스 인텔리전스에서 절대 간과할 수 없는 네 가지 트렌드’라는 주제로 ▲센서기술 ▲비즈니스 인텔리전스의 일상화(pervasive BI..

원문: http://www.kookje.co.kr/news2011/asp/newsbody.asp?code=1700&key=20140212.22026195108최근 금융기관의 개인정보 유출로 온 나라가 공포에 휩싸였다. 개인에 관한 데이터가 그 개인은 물론 사회와 국가를 위협하는 엄청난 무기가 될 수 있음을 실감하기에 충분했다. 관련 회사의 대표가 줄사퇴하고 피해자들이 집단소송을 제기하는 등 여진이 이어지고 있다. 현대는 데이터 시대이다. 데이터를 어떻게 활용하는가에 따라 개인 삶의 질을 높일 수도 있고, 치명적인 피해를 줄 수도 있다. 불행히도 우리는 피해를 먼저 체감했지만 방대한 데이터를 통해 얻을 수 있는 이점까지 간과할 수는 없다. 이는 얼마 전 정부가 발표한 '정부 3.0 추진 기본계획'과도 맥을..