Scientific Computing & Data Science

원문: http://www.itworld.co.kr/news/86608자사에서 막대한 데이터를 다루고 있다면 하둡을 반드시 고려해봐야 한다. 한때 구글과 야후!와 같은 글로벌 인터넷 기업의 전유물이던 가장 인기있고 잘 알려진 빅데이터 관리 시스템이 이제 다른 기업에까지 확산되고 있다.거기에는 두 가지 이유가 있다. 첫째, 기업이 관리해야 될 데이터가 훨씬 많아졌고, 하둡은 기존의 정형 데이터와 새로운 비정형 데이터를 혼합하는데 탁월한 플랫폼이라는 점이다. 둘째, 수많은 개발업체가 하둡 지원과 서비스를 제공하는데 뛰어들어 기업 입장에서 선택의 폭이 늘어났다는 것이다.포레스터 2013년 4분기 소프트웨어 조사 보고서에 따르면, 대부분의 기업들은 이미 보유한 데이터 가운데 단 12%만을 분석하고 있으며, 나머..

원문: http://www.ciokorea.com/news/19808하둡 업체인 클라우데라가 클라우데라의 하둡 환경에서 실시간으로 데이터를 분석하는 아파치 스파크(Apacahe Spark) 프로그램의 상용 버전을 개발했다. 이 상용 버전은 스트림 처리와 빠른 기계 학습을 위한 하둡 사용을 확대할 수 있다. 클라우데라의 제품 마케팅 담당 이사 매트 브랜드웨인은 "데이터 과학자들이 스파크를 좋아한다"라고 밝혔다. 브랜드웨인은 "지금까지 보면, 하둡을 사용한다고 하면, 대게 맵리듀스를 쓴다고 할 수 있다. 그러나 맵리듀스는 정말 느리다"라며 “맵리듀스 프레임워크는 여러 읽기 및 기계 학습 임무를 수행하기 위해 디스크에 많이 기록해야 한다”고 지적했다. 데이터가 메모리 작업에 머물러 있는 동안 스파크는 이 작업..