Scientific Computing & Data Science

원문: http://www.ciokorea.com/news/19836?page=0,1 빅 데이터를 둘러싼 열기가 쉽사리 사그라지지 않는 양상이다. 관련 지출 또한 계속해서 엄청나게 증가하고 있다. IDC에서는 빅 데이터 기술 및 서비스 시장이 해마다 꾸준히 27%가량 성장해 2017년에는 시장 규모가 324억 달러에 이를 것이라 전망했다. 이를 쉽게 풀어 얘기해 보자면 빅 데이터 시장이 전체 정보통신 기술 시장을 다 합친 것보다 6배나 빠른 속도로 성장하고 있음을 뜻한다. 이렇게 시장은 성장하는데, 정작 빅 데이터를 도입한 기업들이 초기 단계를 성공적으로 보내고 있는지는 확실하지 않다. 이를 확인하기 위해 연구기관에서는 IT 경영진, 매니저 등을 대상으로 설문조사를 진행해 기업의 빅 데이터 이니셔티브, ..

원문: http://www.itworld.co.kr/news/86041값싸고 강력한 범용 서버(commodity server)가 넘쳐나는 가운데, 빅데이터에 더 적합한 새로운 컴퓨팅 플랫폼으로 이전해야 한다고 주장한다면 다소 이상하게 보일 수도 있을 것이다. 그러나 사실이다. 기업들이 빅데이터를 적극적으로 도입하면서 빅데이터에 맞는 서버 기술이 무엇인가에 대한 논의가 활발하다. 빅데이터로 인해 여러 가지 작업을 동시에, 효과적으로, 그리고 싼 값에 처리할 수 있는 인지 컴퓨팅(cognitive computing)과 정교한 분석 작업이 크게 발달하고 있다. 당연한 말이지만 처음부터 빅데이터를 염두에 두고 제작된 서버일수록 그렇지 않은 서버보다 새로운 작업 부하량을 더 잘 처리할 수 있다. 특히 센서 달린 ..

원문: http://www.itworld.co.kr/blog/?l=http://dellpowersolution.co.kr/204413579 오늘날 가장 핫한 이름은 데이비드 배컴도, 브레드 피트도, 조지 클루니도 아닙니다. 2012년 10월 발표된 하버드 비즈니스 리뷰(Harvard Business Review)에 따르면, ‘21세기의 가장 섹시한 직업'은 바로 데이터 과학자(data scientist)였습니다. 이 보고서에 따르면 시장의 데이터 과학자 직종 수요와 공급의 격차는 19만 명에 달하는 것으로 확인되고 있습니다. 즉 아직 많은 기업들이 데이터 과학자를 필요로 하고, 또 그들을 영입하지 못해 어려움을 겪고 있다는 것이죠. 데이터 과학자란 무엇인가? 테크노피디아(techopedia)는 데이터 과..

원문: http://www.ciokorea.com/news/17479?page=0,2그간 빅 데이터에 대한 논의는 대부분 클릭스트림 데이터(Clickstream data), 정서 분석(sentiment analysis), 그리고 소비자 타겟팅(consumer targeting)을 위주로 이뤄져 왔다. 하지만 그 이면에는, 기계간의 커뮤니케이션이 가능해 진 점, 분석기법이 발달한 점 등이 있다. 그리고 이들 또한 우리 세상을 여전히 혁신적으로 변화시킬 가능성을 지니고 있다. 대표적인 예로 제너럴 일렉트릭(GE)과 이 회사에서 주장하는 ‘산업 인터넷(Industrial Internet)’의 비전을 들 수 있다. 제너럴 일렉트릭은 산업 인터넷을 통해 마치 산업 혁명과 인터넷 혁명이 촉발시켰던 것과 마찬가지로 ..

원문: http://www.ciokorea.com/news/19880AIIM(Association for Information and Image Management)의 임원 리더십 위원회 씽크탱크는 불확실성을 줄이고 투자를 분산하기 위해, 그리고 신규 제품/서비스 활동을 조정하기 위해 포-박스 매트릭스(four-box matrix)라는 이름의 방법론을 활용하고 있다. 이는 우측 상단에는 ‘중요하고 어려운' 활동을, 그리고 좌측 하단에는 ‘중요하지 않고 쉬운' 활동을 배치하는 간단한 방식이지만 놀라울 정도로 강력한 도구다. 20 개 산업 분야의 임원 40 인과의 일 년에 걸친 토론을 통해 필자는 시장의 모든 기업들이 빅 데이터를 포-박스 매트릭스의 우측 상단에 배치하고 있다는 사실을 확인할 수 있었다. 빅..

원문: http://www.ciokorea.com/news/19843미국에서 빅 데이터 언어, 데이터베이스, 기술을 마스터한 IT전문가의 연봉이 가장 높은 것으로 조사됐다. 지난해 IT전문가들의 급여가 약 3% 상승한 가운데 빅 데이터 관련 언어, 데이터베이스, 기술에 대한 전문성을 갖춘 IT전문가들이 가장 연봉의 높았던 것으로 나타났다. IT전문 헤드헌팅 기업인 다이스닷컴(Dice.com)의 2013-2014 급여 소자에 따르면, 미국 IT전문가들의 평균 연봉은 2013년 8만 7,811달러로 전년의 8만 5,519달러보다 상승했다. 더욱 놀라운 조사 결과는 연봉이 높은 상위 10대 IT직종 9개가 모두 빅 데이터와 관련한 것들로 조사됐다. 다이스닷컴의 조사 결과 가장 많은 연봉을 받은 것으로 나타난 ..

원문: http://www.ciokorea.com/news/19824웹 애널리틱스 기업 라이브퍼슨(LivePerson)이 디지털 상호작용 툴(digital engagement tool)에 대한 투자 증가를 예측했다. 회사의 APAC VP이자 제너럴 매니저 더스틴 딘은 브랜드 차별화 수단으로 '혁신적이고 유의미한 서비스'를 검토하는 기업이 증가할 것이라며, 이는 디지털 고객이 부상하고 그들이 즉각적인 만족을 추구함에 따라 나타나는 결과라고 진단했다. 그는 "고객의 기대치가 과거 어느 때보다 높다. 호주 온라인 고객의 62%가 5분 이내에 온라인으로 도움을 받아볼 수 있기를 기대하고 있다"라고 말했다. 이는 라이브퍼슨이 1,000여 명 이상의 고객을 대상으로 진행한 설문조사에서 도출된 결과다. 이 설문에서는..

원문: http://www.ciokorea.com/news/19808하둡 업체인 클라우데라가 클라우데라의 하둡 환경에서 실시간으로 데이터를 분석하는 아파치 스파크(Apacahe Spark) 프로그램의 상용 버전을 개발했다. 이 상용 버전은 스트림 처리와 빠른 기계 학습을 위한 하둡 사용을 확대할 수 있다. 클라우데라의 제품 마케팅 담당 이사 매트 브랜드웨인은 "데이터 과학자들이 스파크를 좋아한다"라고 밝혔다. 브랜드웨인은 "지금까지 보면, 하둡을 사용한다고 하면, 대게 맵리듀스를 쓴다고 할 수 있다. 그러나 맵리듀스는 정말 느리다"라며 “맵리듀스 프레임워크는 여러 읽기 및 기계 학습 임무를 수행하기 위해 디스크에 많이 기록해야 한다”고 지적했다. 데이터가 메모리 작업에 머물러 있는 동안 스파크는 이 작업..

원문: http://www.ciokorea.com/news/19807다트머스 아틀라스는 100TB 이상의 의료 관련 데이터를 보유하고 있다. 이 기관은 이 데이터를 이용해 의료 정책을 개선하고 서비스 품질을 측정할 수 있었다. 데이터 기반 지리정보를 결합해 활용했다. 지난 20년 간 다트머스 의료 정책 및 임상 진료 연구소(Dartmouth Institute for Health Policy and Clinical Practices)에서는 지역별, 시스템별 건강보험 종류를 조사해 왔다. 이 연구소는 다양한 건강 보험이 생겨나게 된 원인과 그 영향을 조사해 환자들이 지역의 의료 서비스를 더 잘 이해할 수 있도록 하는 것을 목표로 하고 있다. 연구소 소아과 의사이자 의료 정책 교수인 데이빗 C. 굿맨 박사는 ..

by Geol Choi | February 16, 2014MongoDB는 복잡한 데이터 분석을 위해 다양한 맵리듀스(Map Reduce) 등 다양한 집합(Aggregation) 도구를 제공한다. countcount 연산자는 컬렉션 내의 도큐먼트 개수를 파악할 수 있는 메써드이다.다음과 같이 "people" 컬렉션에 3개의 도큐먼트를 추가한 후,> db.people.insert({username: "user1"}); > db.people.insert({username: "user2"}); > db.people.insert({username: "user3"}); count() 메써드를 이용하여 개수를 구하면 다음과 같다:> db.people.find().pretty() { "_id" : ObjectId("5..