Scientific Computing & Data Science

by Geol Choi | March 6, 2014지금까지는 데이터가 추가되거나 삭제될 때 저장 사이즈가 동적으로 변하는 컬렉션에 대하여 다루어 왔다.MongoDB는 저장 사이즈가 고정된 다른 유형의 컬렉션을 제공하는데, 이 컬렉션을 "Capped Collections"라고 한다. 가장 큰 특징 중 하나는 "aging-out"으로써, Capped collections는 도큐먼트가 저장되는 순서 그대로 저장되며 만약 저장소("queue"라고 함)가 가득 차 있을 경우 가장 오래된 도큐먼트를 삭제하고 새로운 도큐먼트를 저장한다.따라서, 저장소의 모양을 다음과 같이 형상화 할 수 있다:[그림 1] 새로운 도큐먼트는 queue의 맨 마지막에 들어온다.[그림 2] queue가 가득차게 되면, 최고(最古)의 도큐먼..

ETL 도구들은 하나의 빅데이터 환경에서 얻은 데이터를 다른 데이터 환경으로 이전하는데 필요한 세 가지 중요한 기능(추출(Extract), 변형(Transform), 불러내기(Load))을 결합한다. 전통적으로, ETL은 데이터 웨어하우스 환경에서 일괄 처리 작업을 하는데 사용되어 왔다. 데이터 웨어하우스는 사업자들에게 사업 중점에 관계되는 데이트에 대한 분석과 리포트를 강화하는 수단을 제공한다. ETL 도구들은 데이터 웨어하우스가 요구하는 포맷으로 데이터를 변형한다.변형은 사실상 데이터가 데이터 웨어하우스에 로딩되기 전 중간 위치에서 실행된다. IBM, Informatica, Pervasive, Talend, Pentaho를 포함한 많은 소프트웨어 벤더들이 ETL 소프트웨어 툴을 제공한다.ETL은 다음..

여러분은 빅데이터 분석에 대한 뉘앙스를 깨닫게 될 것이다. 이것은 정말 작은 데이터에 관한 것이다. 이것이 혼란스러워 보일 수도 있고 전체적인 전제에 위반되는 것처럼 보일 수도 있지만, 작은 데이터는 빅데이터 분석의 결과이다. 전혀 새로운 개념도 아니며, 오랜동안 데이터 분석을 해왔던 사람들에게 익숙하지 않은 것도 아니다. 전체 작업 공간은 커지고 있으나, 해답은 "작다"는 것 어딘가에 존재한다.전통적 데이터 분석은 고객 정보, 제품 정보, 거래 정보, 원격측정 데이터 등등으로 가득찬 데이터베이스로 시작했다. 그 당시에도 가용 데이터는 차거 넘쳐서 효율적인 데이터 분석이 불가능했다. 시스템, 네트워크, 소프트웨어는 스케일을 논할 만한 성능이나 용량이 되지 않았다. 산업 곳곳에서 보다 작은 데이터 세트를 ..

Written by cinema4d이번 글에서는 DB 명령어에 대해 알아보도록 하겠다. 그 동안 앞선 글에서 다루지 않았던 수많은 MongoDB의 명령어에는 어떤 것들이 있는지 훑어볼 수 있는 기회가 될 것이다.(물론 하나하나 다루지는 않는다. 여기서 다루지 않은 명령어들은 MongoDB의 공식 도큐먼트 페이지를 통해 알아보기 바란다.) 우선 "db.listCommands()" 명령을 통해 DB 명령어의 리스트를 살펴보도록 하자:> db.listCommands() _isSelf: no-lock { _isSelf : 1 } INTERNAL ONLY _migrateClone: no-lock adminOnly slaveOk internal - should not be called directly _recvCh..

원문: http://www.ciokorea.com/slideshow/19630/?slide=1#stage_slide오늘날 디지털 세계에는 데이터가 부족할 수가 없다. 오히려 데이터 과부하 시대라고 하는 표현이 더 어울리겠다. 기업들은 클라우드, 모바일 기술, 소셜 미디어에 투자하고 있다. 이와 함께 기업에 미치는 영향을 생각하면 얼마나 많은 데이터가 수집되고 있는지를 알 수 있을 것이다. 플로리다의 탐파(Tampa)에 본사를 둔 헤드헌팅 기업 케이포스(Kforce)의 최근 조사에 따르면 이런 데이터의 증가와 함께 데이터를 수집하고 정리하며 분석할 수 있는 사람들에 대한 수요도 늘어나고 있다고 한다. ETL(Extract(추출), Transfer(전송), Load(불러오기) 개발자데이터가 폭발적으로 증가하..

원문: http://www.ciokorea.com/slideshow/12832?slide=1#stage_slide페이스북"데이터 과학자는 소프트웨어 엔지니어와 정량 조사에 익숙한 전문가입니다. 온라인 소셜 네트워크의 연구에 강한 관심과 우리가 최고의 제품을 만들도록 도울 질문을 확인하고 답을 줄 수 있는 열정을 가진 데이터 과학자를 우대합니다.” 출처 : 페이스북의 데이터 과학자 채용 공고자격 조건 : 관련 분야의 이공계 석사 또는 박사 학위 소지자거나 관련 업무 경력 4년 이상인 사람; 정성적인 접근을 사용한 분석 문제 해결하는 데 경험이 풍부한 사람; 다양한 정보에서 데이터를 가져와 대용량의 복잡한 고차원 분석에 익숙한 사람; 데이터와 관련한 고난이도의 질문에 답을 찾고 경험적 연구에 대해 열정적으로..

원문: http://www.itworld.co.kr/t/54649/빅%20데이터/86155빅데이터와 기존에 있던 DW, BI, 통계 분석과는 무엇이 다른가. 미래읽기 장동인 대표는 최근 자신의 페이스북을 통해 빅데이터와 DW, BI, 통계 분석과 다른 점이 무엇인가라는 화두를 던졌다. 장동인 대표는 현장에서 강의를 하다보면 자주 듣는 질문 가운데 하나가 바로 '빅데이터가 지금까지 있었던 DW, BI, 통계분석과 무엇이 다른가'라는 것이라고 말했다. 장 대표는 "해답은 아주 간단하지만 많은 사람이 헷갈리는 것 가운데 하나"라며, "이들의 다른 점을 모른다면 다음 단계에서는 혼돈의 연속이 될 것"이라고 설명했다. 장 대표의 설명에 따르면, 지금까지의 DW, BI, 통계분석의 가장 기본은 RDBMS이다. 소위..

by Geol Choi | March 2, 2014앞의 글에서 설명했던 집합(aggregation) 연산자인 count, distinct, group으로 할 수 있는 모든 것 뿐만 아니라 더 많은 일들을 맵리듀스를 통해 할 수 있습니다. 특히 다중의 서버를 통해 집합 연산자를 쉽게 병렬로 처리할 수 있습니다. 맵리듀스는 문제를 여러 개의 덩어리로 분할하고, 각 덩어리를 다양한 머쉰으로 전송하고, 각 머쉰이 문제의 각 부분을 해결하도록 합니다. 모든 머쉰에서 처리가 모두 마무리되면 솔루션 결과를 모두 모아서 전체적인 솔루션으로 합칩니다.맵리듀스는 다음과 같은 절차로 처리됩니다.(1) 첫번째 단계는 "맵(Map)"이며, 이는 연산을 컬렉션 내의 각 도큐먼트로 매핑하는 것입니다. 이 연산은 "아무 것도 하지 ..

원문: http://www.ciokorea.com/news/12825데이터 과학자가 되기 위해 필요한 습득한 기술들은 그 사람이 어떤 배경을 지녔느냐에 따라 다르다. IT채용 및 컨설팅 기업 모디스(Modis)의 휴스턴 지부 부사장 로라 켈리에 따르면, 데이터 과학자가 되는 경로는 어떤 기술력을 가졌느냐에 따라 달라진다고 한다. 켈리의 조언은 다음과 같다. *MBA 졸업생이라면, 통계 소프트웨어 프로그램 자격증을 따라. "일반 컴퓨터 과학 박사 학위를 취득하지 말고 주력 분야에 좀더 집중하라. *컴퓨터 과학 전공자라면, MBA 입학을 고려하라. 비즈니스를 이해하고 커뮤니케이션을 잘 할 수 있다는 것은 데이터 과학의 필수 요소다. 또한, 비즈니스 인텔리전스와 분석 소프트웨어 관련 자격증을 취득하라. *통계..

원문: http://www.ciokorea.com/news/12847?page=0,1데이터에서 진정한 가치를 이끌어내고 싶은가? 데이터 과학자 1~2명을 고용하는 것이 해답일 수 있다. '데이터 과학자'라는 직종의 현황과 미래를 짚어본다. 지난 수 개월 동안 새로운 범주의 데이터 전문가인 데이터 과학자에 대한 관심이 급증했다. 비즈니스, 애널리틱스, 컴퓨터 기술 등이 조합된 이 새로운 직업은 에너지, 전자 상거래, 건강 관리, 재무 서비스 등 다양한 분야로 진출하고 있다. 그리고 전문가들은 이것이 시작에 불과하다고 입을 모으고 있다. IT 컨설팅 및 인재 파견기업 모디스(Modis)의 휴스턴 부사장 로라 켈리는 "기업들은 점차 데이터 및 애플리케이션 중심적으로 변모하고 있다. 그들은 빅 데이터 환경을 모..