Scientific Computing & Data Science

원문: http://www.ciokorea.com/slideshow/19630/?slide=1#stage_slide오늘날 디지털 세계에는 데이터가 부족할 수가 없다. 오히려 데이터 과부하 시대라고 하는 표현이 더 어울리겠다. 기업들은 클라우드, 모바일 기술, 소셜 미디어에 투자하고 있다. 이와 함께 기업에 미치는 영향을 생각하면 얼마나 많은 데이터가 수집되고 있는지를 알 수 있을 것이다. 플로리다의 탐파(Tampa)에 본사를 둔 헤드헌팅 기업 케이포스(Kforce)의 최근 조사에 따르면 이런 데이터의 증가와 함께 데이터를 수집하고 정리하며 분석할 수 있는 사람들에 대한 수요도 늘어나고 있다고 한다. ETL(Extract(추출), Transfer(전송), Load(불러오기) 개발자데이터가 폭발적으로 증가하..

원문: http://www.ciokorea.com/slideshow/12832?slide=1#stage_slide페이스북"데이터 과학자는 소프트웨어 엔지니어와 정량 조사에 익숙한 전문가입니다. 온라인 소셜 네트워크의 연구에 강한 관심과 우리가 최고의 제품을 만들도록 도울 질문을 확인하고 답을 줄 수 있는 열정을 가진 데이터 과학자를 우대합니다.” 출처 : 페이스북의 데이터 과학자 채용 공고자격 조건 : 관련 분야의 이공계 석사 또는 박사 학위 소지자거나 관련 업무 경력 4년 이상인 사람; 정성적인 접근을 사용한 분석 문제 해결하는 데 경험이 풍부한 사람; 다양한 정보에서 데이터를 가져와 대용량의 복잡한 고차원 분석에 익숙한 사람; 데이터와 관련한 고난이도의 질문에 답을 찾고 경험적 연구에 대해 열정적으로..

원문: http://www.itworld.co.kr/t/54649/빅%20데이터/86155빅데이터와 기존에 있던 DW, BI, 통계 분석과는 무엇이 다른가. 미래읽기 장동인 대표는 최근 자신의 페이스북을 통해 빅데이터와 DW, BI, 통계 분석과 다른 점이 무엇인가라는 화두를 던졌다. 장동인 대표는 현장에서 강의를 하다보면 자주 듣는 질문 가운데 하나가 바로 '빅데이터가 지금까지 있었던 DW, BI, 통계분석과 무엇이 다른가'라는 것이라고 말했다. 장 대표는 "해답은 아주 간단하지만 많은 사람이 헷갈리는 것 가운데 하나"라며, "이들의 다른 점을 모른다면 다음 단계에서는 혼돈의 연속이 될 것"이라고 설명했다. 장 대표의 설명에 따르면, 지금까지의 DW, BI, 통계분석의 가장 기본은 RDBMS이다. 소위..

by Geol Choi | March 2, 2014앞의 글에서 설명했던 집합(aggregation) 연산자인 count, distinct, group으로 할 수 있는 모든 것 뿐만 아니라 더 많은 일들을 맵리듀스를 통해 할 수 있습니다. 특히 다중의 서버를 통해 집합 연산자를 쉽게 병렬로 처리할 수 있습니다. 맵리듀스는 문제를 여러 개의 덩어리로 분할하고, 각 덩어리를 다양한 머쉰으로 전송하고, 각 머쉰이 문제의 각 부분을 해결하도록 합니다. 모든 머쉰에서 처리가 모두 마무리되면 솔루션 결과를 모두 모아서 전체적인 솔루션으로 합칩니다.맵리듀스는 다음과 같은 절차로 처리됩니다.(1) 첫번째 단계는 "맵(Map)"이며, 이는 연산을 컬렉션 내의 각 도큐먼트로 매핑하는 것입니다. 이 연산은 "아무 것도 하지 ..

원문: http://www.ciokorea.com/news/12825데이터 과학자가 되기 위해 필요한 습득한 기술들은 그 사람이 어떤 배경을 지녔느냐에 따라 다르다. IT채용 및 컨설팅 기업 모디스(Modis)의 휴스턴 지부 부사장 로라 켈리에 따르면, 데이터 과학자가 되는 경로는 어떤 기술력을 가졌느냐에 따라 달라진다고 한다. 켈리의 조언은 다음과 같다. *MBA 졸업생이라면, 통계 소프트웨어 프로그램 자격증을 따라. "일반 컴퓨터 과학 박사 학위를 취득하지 말고 주력 분야에 좀더 집중하라. *컴퓨터 과학 전공자라면, MBA 입학을 고려하라. 비즈니스를 이해하고 커뮤니케이션을 잘 할 수 있다는 것은 데이터 과학의 필수 요소다. 또한, 비즈니스 인텔리전스와 분석 소프트웨어 관련 자격증을 취득하라. *통계..

원문: http://www.ciokorea.com/news/12847?page=0,1데이터에서 진정한 가치를 이끌어내고 싶은가? 데이터 과학자 1~2명을 고용하는 것이 해답일 수 있다. '데이터 과학자'라는 직종의 현황과 미래를 짚어본다. 지난 수 개월 동안 새로운 범주의 데이터 전문가인 데이터 과학자에 대한 관심이 급증했다. 비즈니스, 애널리틱스, 컴퓨터 기술 등이 조합된 이 새로운 직업은 에너지, 전자 상거래, 건강 관리, 재무 서비스 등 다양한 분야로 진출하고 있다. 그리고 전문가들은 이것이 시작에 불과하다고 입을 모으고 있다. IT 컨설팅 및 인재 파견기업 모디스(Modis)의 휴스턴 부사장 로라 켈리는 "기업들은 점차 데이터 및 애플리케이션 중심적으로 변모하고 있다. 그들은 빅 데이터 환경을 모..

원문: http://www.itworld.co.kr/blog/?l=http://dellpowersolution.co.kr/204413579 오늘날 가장 핫한 이름은 데이비드 배컴도, 브레드 피트도, 조지 클루니도 아닙니다. 2012년 10월 발표된 하버드 비즈니스 리뷰(Harvard Business Review)에 따르면, ‘21세기의 가장 섹시한 직업'은 바로 데이터 과학자(data scientist)였습니다. 이 보고서에 따르면 시장의 데이터 과학자 직종 수요와 공급의 격차는 19만 명에 달하는 것으로 확인되고 있습니다. 즉 아직 많은 기업들이 데이터 과학자를 필요로 하고, 또 그들을 영입하지 못해 어려움을 겪고 있다는 것이죠. 데이터 과학자란 무엇인가? 테크노피디아(techopedia)는 데이터 과..

원문: http://www.ciokorea.com/news/19880AIIM(Association for Information and Image Management)의 임원 리더십 위원회 씽크탱크는 불확실성을 줄이고 투자를 분산하기 위해, 그리고 신규 제품/서비스 활동을 조정하기 위해 포-박스 매트릭스(four-box matrix)라는 이름의 방법론을 활용하고 있다. 이는 우측 상단에는 ‘중요하고 어려운' 활동을, 그리고 좌측 하단에는 ‘중요하지 않고 쉬운' 활동을 배치하는 간단한 방식이지만 놀라울 정도로 강력한 도구다. 20 개 산업 분야의 임원 40 인과의 일 년에 걸친 토론을 통해 필자는 시장의 모든 기업들이 빅 데이터를 포-박스 매트릭스의 우측 상단에 배치하고 있다는 사실을 확인할 수 있었다. 빅..

원문: http://www.ciokorea.com/news/19843미국에서 빅 데이터 언어, 데이터베이스, 기술을 마스터한 IT전문가의 연봉이 가장 높은 것으로 조사됐다. 지난해 IT전문가들의 급여가 약 3% 상승한 가운데 빅 데이터 관련 언어, 데이터베이스, 기술에 대한 전문성을 갖춘 IT전문가들이 가장 연봉의 높았던 것으로 나타났다. IT전문 헤드헌팅 기업인 다이스닷컴(Dice.com)의 2013-2014 급여 소자에 따르면, 미국 IT전문가들의 평균 연봉은 2013년 8만 7,811달러로 전년의 8만 5,519달러보다 상승했다. 더욱 놀라운 조사 결과는 연봉이 높은 상위 10대 IT직종 9개가 모두 빅 데이터와 관련한 것들로 조사됐다. 다이스닷컴의 조사 결과 가장 많은 연봉을 받은 것으로 나타난 ..

원문: http://www.ciokorea.com/news/19824웹 애널리틱스 기업 라이브퍼슨(LivePerson)이 디지털 상호작용 툴(digital engagement tool)에 대한 투자 증가를 예측했다. 회사의 APAC VP이자 제너럴 매니저 더스틴 딘은 브랜드 차별화 수단으로 '혁신적이고 유의미한 서비스'를 검토하는 기업이 증가할 것이라며, 이는 디지털 고객이 부상하고 그들이 즉각적인 만족을 추구함에 따라 나타나는 결과라고 진단했다. 그는 "고객의 기대치가 과거 어느 때보다 높다. 호주 온라인 고객의 62%가 5분 이내에 온라인으로 도움을 받아볼 수 있기를 기대하고 있다"라고 말했다. 이는 라이브퍼슨이 1,000여 명 이상의 고객을 대상으로 진행한 설문조사에서 도출된 결과다. 이 설문에서는..