Scientific Computing & Data Science

원문: http://www.ciokorea.com/slideshow/19630/?slide=1#stage_slide오늘날 디지털 세계에는 데이터가 부족할 수가 없다. 오히려 데이터 과부하 시대라고 하는 표현이 더 어울리겠다. 기업들은 클라우드, 모바일 기술, 소셜 미디어에 투자하고 있다. 이와 함께 기업에 미치는 영향을 생각하면 얼마나 많은 데이터가 수집되고 있는지를 알 수 있을 것이다. 플로리다의 탐파(Tampa)에 본사를 둔 헤드헌팅 기업 케이포스(Kforce)의 최근 조사에 따르면 이런 데이터의 증가와 함께 데이터를 수집하고 정리하며 분석할 수 있는 사람들에 대한 수요도 늘어나고 있다고 한다. ETL(Extract(추출), Transfer(전송), Load(불러오기) 개발자데이터가 폭발적으로 증가하..

원문: http://www.ciokorea.com/slideshow/12832?slide=1#stage_slide페이스북"데이터 과학자는 소프트웨어 엔지니어와 정량 조사에 익숙한 전문가입니다. 온라인 소셜 네트워크의 연구에 강한 관심과 우리가 최고의 제품을 만들도록 도울 질문을 확인하고 답을 줄 수 있는 열정을 가진 데이터 과학자를 우대합니다.” 출처 : 페이스북의 데이터 과학자 채용 공고자격 조건 : 관련 분야의 이공계 석사 또는 박사 학위 소지자거나 관련 업무 경력 4년 이상인 사람; 정성적인 접근을 사용한 분석 문제 해결하는 데 경험이 풍부한 사람; 다양한 정보에서 데이터를 가져와 대용량의 복잡한 고차원 분석에 익숙한 사람; 데이터와 관련한 고난이도의 질문에 답을 찾고 경험적 연구에 대해 열정적으로..

원문: http://www.itworld.co.kr/t/54649/빅%20데이터/86155빅데이터와 기존에 있던 DW, BI, 통계 분석과는 무엇이 다른가. 미래읽기 장동인 대표는 최근 자신의 페이스북을 통해 빅데이터와 DW, BI, 통계 분석과 다른 점이 무엇인가라는 화두를 던졌다. 장동인 대표는 현장에서 강의를 하다보면 자주 듣는 질문 가운데 하나가 바로 '빅데이터가 지금까지 있었던 DW, BI, 통계분석과 무엇이 다른가'라는 것이라고 말했다. 장 대표는 "해답은 아주 간단하지만 많은 사람이 헷갈리는 것 가운데 하나"라며, "이들의 다른 점을 모른다면 다음 단계에서는 혼돈의 연속이 될 것"이라고 설명했다. 장 대표의 설명에 따르면, 지금까지의 DW, BI, 통계분석의 가장 기본은 RDBMS이다. 소위..

by Geol Choi | March 2, 2014앞의 글에서 설명했던 집합(aggregation) 연산자인 count, distinct, group으로 할 수 있는 모든 것 뿐만 아니라 더 많은 일들을 맵리듀스를 통해 할 수 있습니다. 특히 다중의 서버를 통해 집합 연산자를 쉽게 병렬로 처리할 수 있습니다. 맵리듀스는 문제를 여러 개의 덩어리로 분할하고, 각 덩어리를 다양한 머쉰으로 전송하고, 각 머쉰이 문제의 각 부분을 해결하도록 합니다. 모든 머쉰에서 처리가 모두 마무리되면 솔루션 결과를 모두 모아서 전체적인 솔루션으로 합칩니다.맵리듀스는 다음과 같은 절차로 처리됩니다.(1) 첫번째 단계는 "맵(Map)"이며, 이는 연산을 컬렉션 내의 각 도큐먼트로 매핑하는 것입니다. 이 연산은 "아무 것도 하지 ..

원문: http://www.ciokorea.com/news/12825데이터 과학자가 되기 위해 필요한 습득한 기술들은 그 사람이 어떤 배경을 지녔느냐에 따라 다르다. IT채용 및 컨설팅 기업 모디스(Modis)의 휴스턴 지부 부사장 로라 켈리에 따르면, 데이터 과학자가 되는 경로는 어떤 기술력을 가졌느냐에 따라 달라진다고 한다. 켈리의 조언은 다음과 같다. *MBA 졸업생이라면, 통계 소프트웨어 프로그램 자격증을 따라. "일반 컴퓨터 과학 박사 학위를 취득하지 말고 주력 분야에 좀더 집중하라. *컴퓨터 과학 전공자라면, MBA 입학을 고려하라. 비즈니스를 이해하고 커뮤니케이션을 잘 할 수 있다는 것은 데이터 과학의 필수 요소다. 또한, 비즈니스 인텔리전스와 분석 소프트웨어 관련 자격증을 취득하라. *통계..

원문: http://www.ciokorea.com/news/12847?page=0,1데이터에서 진정한 가치를 이끌어내고 싶은가? 데이터 과학자 1~2명을 고용하는 것이 해답일 수 있다. '데이터 과학자'라는 직종의 현황과 미래를 짚어본다. 지난 수 개월 동안 새로운 범주의 데이터 전문가인 데이터 과학자에 대한 관심이 급증했다. 비즈니스, 애널리틱스, 컴퓨터 기술 등이 조합된 이 새로운 직업은 에너지, 전자 상거래, 건강 관리, 재무 서비스 등 다양한 분야로 진출하고 있다. 그리고 전문가들은 이것이 시작에 불과하다고 입을 모으고 있다. IT 컨설팅 및 인재 파견기업 모디스(Modis)의 휴스턴 부사장 로라 켈리는 "기업들은 점차 데이터 및 애플리케이션 중심적으로 변모하고 있다. 그들은 빅 데이터 환경을 모..

원문: http://www.ciokorea.com/news/19836?page=0,1 빅 데이터를 둘러싼 열기가 쉽사리 사그라지지 않는 양상이다. 관련 지출 또한 계속해서 엄청나게 증가하고 있다. IDC에서는 빅 데이터 기술 및 서비스 시장이 해마다 꾸준히 27%가량 성장해 2017년에는 시장 규모가 324억 달러에 이를 것이라 전망했다. 이를 쉽게 풀어 얘기해 보자면 빅 데이터 시장이 전체 정보통신 기술 시장을 다 합친 것보다 6배나 빠른 속도로 성장하고 있음을 뜻한다. 이렇게 시장은 성장하는데, 정작 빅 데이터를 도입한 기업들이 초기 단계를 성공적으로 보내고 있는지는 확실하지 않다. 이를 확인하기 위해 연구기관에서는 IT 경영진, 매니저 등을 대상으로 설문조사를 진행해 기업의 빅 데이터 이니셔티브, ..

원문: http://www.itworld.co.kr/news/86041값싸고 강력한 범용 서버(commodity server)가 넘쳐나는 가운데, 빅데이터에 더 적합한 새로운 컴퓨팅 플랫폼으로 이전해야 한다고 주장한다면 다소 이상하게 보일 수도 있을 것이다. 그러나 사실이다. 기업들이 빅데이터를 적극적으로 도입하면서 빅데이터에 맞는 서버 기술이 무엇인가에 대한 논의가 활발하다. 빅데이터로 인해 여러 가지 작업을 동시에, 효과적으로, 그리고 싼 값에 처리할 수 있는 인지 컴퓨팅(cognitive computing)과 정교한 분석 작업이 크게 발달하고 있다. 당연한 말이지만 처음부터 빅데이터를 염두에 두고 제작된 서버일수록 그렇지 않은 서버보다 새로운 작업 부하량을 더 잘 처리할 수 있다. 특히 센서 달린 ..

원문: http://www.itworld.co.kr/blog/?l=http://dellpowersolution.co.kr/204413579 오늘날 가장 핫한 이름은 데이비드 배컴도, 브레드 피트도, 조지 클루니도 아닙니다. 2012년 10월 발표된 하버드 비즈니스 리뷰(Harvard Business Review)에 따르면, ‘21세기의 가장 섹시한 직업'은 바로 데이터 과학자(data scientist)였습니다. 이 보고서에 따르면 시장의 데이터 과학자 직종 수요와 공급의 격차는 19만 명에 달하는 것으로 확인되고 있습니다. 즉 아직 많은 기업들이 데이터 과학자를 필요로 하고, 또 그들을 영입하지 못해 어려움을 겪고 있다는 것이죠. 데이터 과학자란 무엇인가? 테크노피디아(techopedia)는 데이터 과..

원문: http://www.ciokorea.com/news/17479?page=0,2그간 빅 데이터에 대한 논의는 대부분 클릭스트림 데이터(Clickstream data), 정서 분석(sentiment analysis), 그리고 소비자 타겟팅(consumer targeting)을 위주로 이뤄져 왔다. 하지만 그 이면에는, 기계간의 커뮤니케이션이 가능해 진 점, 분석기법이 발달한 점 등이 있다. 그리고 이들 또한 우리 세상을 여전히 혁신적으로 변화시킬 가능성을 지니고 있다. 대표적인 예로 제너럴 일렉트릭(GE)과 이 회사에서 주장하는 ‘산업 인터넷(Industrial Internet)’의 비전을 들 수 있다. 제너럴 일렉트릭은 산업 인터넷을 통해 마치 산업 혁명과 인터넷 혁명이 촉발시켰던 것과 마찬가지로 ..