인포월드 선정 10대 기업용 신기술 ③

원문 : http://www.ciokorea.com/news/10871

인포월드 선정 10대 기업용 신기술 ①과 인포월드 선정 10대 기업용 신기술 ②에 이어 아파치 하둡, 고도의 동기화, 소프트웨어로 정의된 네트워크, 프라이빗 클라우드 통합에 대해 소개하고자 한다.

10. HTML5
9. 클라이언트 단의 하이퍼바이저
8. 지속적인 개발 툴 구축
7. 칩에 대한 신뢰
6. 자바스크립트의 대체
5. 분산된 스토리지 계층
4. 아파치 하둡
3. 고도의 동기화
2. 소프트웨어로 정의된 네트워크
1. 프라이빗 클라우드 통합


4. 아파치 하둡

2년 전, 우리는 완전히 새로운 전망(범용 하드웨어 그리고/또는 공공 클라우드 서비스를 이용한 로그 파일이나 웹 클릭스트림(Clickstream) 등의 비정형(또는 부분적으로 정형화된) 데이터의 엄청난 용량을 분석한 맵리듀스(MapReduce)를 최고의 신흥 산업기술로 선정한 바 있다. 지난 2년간, 맵리듀스의 뛰어난 오픈소스 구축인 아파치 하둡은 아마존, EMC, IBM, 인포매티카, 마이크로소프트, 넷앱, 오라클, SAP 뿐만 아니라 수 많은 신생 기업들이 제공하는 제품과 서비스에서 그 기반을 다졌다.

하둡은 기업들이 형식적인 BI 목표로 시작하기 보다는 단순하게 분석하고자 하는 흥미로운 패턴을 발견하기 위해서 범용 서버의 클러스터를 배치하여 고속으로 수 TB의 구조화되지 않은 데이터를 처리할 수 있도록 함으로써 새로운 지평을 열었다. 하지만 하둡은 기본적으로 분산된 파일 시스템 최상위에 위치한 소프트웨어 프레임워크라는 사실을 반드시 기억해야 한다. 프로그램들은 하둡 작업을 처리하기 위해서 작성돼야 하며 개발자들은 하둡의 구조를 이해해야 하고 데이터 분석가들은 하둡을 효과적으로 사용하는 방법을 결정하는데 있어서 학습 곡선에 직면하게 된다.

초기에는 개발자들이 하둡을 더욱 쉽게 활용할 수 있도록 하기 위한 툴들이 개발되기도 했다. 아파치 하이브(Apache Hive)는 SQL 프로그래머들에게 애드 혹(Ad Hoc) 쿼리와 빅 데이터 분석을 위한 HiveQL이라 불리는 SQL과 유사한 언어를 제공하고 있다. 그리고 아파치 피그(Apache Pig)는 종종 대규모 처리 작업에 요구되는 사실상 병렬인 데이터 분석 프로그램을 개발하기 위한 높은 수준의 언어를 제공하고 있다.

IBM은 하둡 외에도 분석가들이 바로 값을 추출할 수 있도록 하는 툴을 제공한 최초의 기업들 중 하나였다. IBM의 인포스피어 빅인사이츠(InfoSphere BigInsights) 스윗에는 사용자들이 스프레드시트와 유사한 인터페이스를 이용해 데이터를 분석하고 코드를 작성할 필요 없이 처리 작업을 구성할 수 있도록 하는 빅시츠(BigSheets)가 포함되어 있다.

그리고 신생 기업들의 하둡 솔루션은 모든 곳에서 등장하고 있다. 클라우데라(Cloudera), 호튼웍스(Hortonworks), MapR 등은 자체적인 하둡 배포판을 기업 지향적인 관리 툴과 결합시키고 있다. 카르마스피어 스튜디오(Karmasphere Studio)는 개발자들이 하둡 작업의 프로토타입을 만들고 개발하고, 디버그하고, 모니터링(Monitoring)하도록 하는 특화된 IDE이며, 카르마스피어 애널리스트(Karmasphere Analyst)는 데이터 분석가들이 하둡 데이터 세트를 위한 SQL 쿼리를 생성하고 차트와 그래프로 결과를 볼 수 있도록 하는 GUI 툴이다. 또 다른 신생기업 데이터미어(Datameer) 또한 스프레드시트형의 사용자 인터페이스를 제공하는 데이터미어 애널리틱스 솔루션(Datameer Analytics Solution)을 제공하고 있다.

그렇다면 앞으로는 어떻게 될까? 하둡 솔루션이 확산되면서 기업들은 웹 고객들의 행동을 예측하고 작업 흐름을 최적화하기 위해서 구조화되지 않은 데이터로부터 얻은 전례 없는 통찰력을 갖게 될 것이며, 데이터 가상화 툴의 도움으로 의료 기록에서 일반적인 검색 용어에 이르기까지 모든 것의 패턴을 발견하게 될 것이다. 우리는 이제 막 하둡 분석의 새로운 물결이 우리를 어디로 이끌지 깨닫기 시작했다. --에릭 크노르(Eric Knorr)

3. 고도의 동기화

애플과 마이크로소프트는 서로 완전히 다른 전략을 구사하고 있을지는 몰라도 한 가지 사실에는 동의하고 있다: 이제는 각 PC나 다른 기기가 사용자의 나머지 컴퓨팅 세계와는 단절된 단일 사용자 환경에 작별을 고할 때라는 것이다. 사실 두 기업은 사용자 활동 전역에 걸쳐 클라우드로 기기와 애플리케이션을 활용할 수 있는 환경을 추구하고 있다.

지난 10월, 애플의 iOS 5는 아이클라우드(iCloud)와 함께 공개됐다. 아이클라우드는 클라우드 기반의 동기화 서비스로 북마크(Bookmark), 문서, 사진, ‘핵심 값(Key Value)’ 데이터(상태 정보 등)를 사용자의 iOS 기기와 맥(Mac)에서 동기화하며, 윈도우 PC에서도 일부 기능을 지원한다. 마이크로소프트의 차세대 윈도우 8은 이런 개념을 더욱 발전시켜 데이터뿐만 아니라 애플리케이션 상태를 윈도우 8 PC와 태블릿에서 동기화하며 윈도우 폰(Windows Phone) 스마트폰에서도 이를 지원할 것으로 보인다. 이를 통해 사용자는 선택한 기기에 상관없이 기존에 하던 작업을 이어서 수행할 수 있게 될 것이다.

이를 통해 사람들이 컴퓨터에서 작업을 수행하는 방식의 많은 부분이 바뀌게 될 것이며 궁극적으로 애플리케이션 새로운 유용성이 부여될 것이다.

예를 들어 초기의 아이클라우드 사용자들은 기기의 종류에 상관없이 자신의 문서를 이용할 수 있도록 하는 것에 쉽게 적응했다. 물론 이를 통해 자동 백업도 가능하지만 장소를 불문하고 모든 작업을 수행하는 것이 가능해진다. 윈도우 8은 한걸음 더 나아가 사용자가 중단한 문서 작성이나 기타 작업을 이어서 수행할 수 있는 기능도 제공한다.

자신의 모든 기기를 통해 모든 비용, 표, 일정을 처리하는 여행 관리 앱을 상상해 보자. 더 이상 정보를 하나의 기기에서 다른 것으로 복사하고 붙여 넣을 필요가 없어질 것이다. 자신의 스마트폰이 CPU가 되어 머지 않은 미래에 데이터와 네트워크 스토리지, 로컬 키보드, 로컬 모니터, 근처의 네트워크에 동기화할 뿐만 아니라 작업을 사용 기기에 따라 태블릿이나 PC로 넘겨주는 미래를 쉽게 상상할 수 있을 것이다. 우리는 OS 및 앱에서의 구조 지향적인 동기화 기능을 통해 이런 모빌리티 환경을 상상할 수 있다.

이런 방식으로 업무를 처리하게 되면 스스로에게 이메일로 문서를 보내고 컴퓨터간에 파일을 복사하고 기타 자신의 환경을 수동으로 관리하는 것 등은 구식이 되어 버릴 것이다. 데이터와 메타데이터(Metadata)의 자동 동기화를 위치, 이용 가능한 입력 수단, 프레젠테이션 제약, 동작, 인터넷 접근, 센서에 따라 처리하는 데이터 등과 연계시킬 때 진정한 의미의 사용자 중심적 컴퓨팅이 실현될 것이다.

컴퓨팅의 ‘동기화 구조’ 모델은 우리가 이미 익숙해져 있는 앱, 보안 모델, 기타 기술 접근방식에 대한 상당한 영향력을 행사할 수 있다. 이런 구조의 전형은 결국 재택 근무와 노트북의 유행이 시작된 이후로 컴퓨터 보안을 위해서 사무용 PC의 전성기 때처럼 일관되지 않은 다양한 기기가 존재하는 세계에서 신원 관리 및 인증에 대한 개선된 접근 방식을 강요해야 한다는 믿음을 종식시키게 될 것이다.

그리고 사용자가 기기의 구조 내에서 움직일 때 사용자 경험의 문제와 수정을 위한 애플리케이션 및 백엔드 서비스의 필요가 발생하게 된다. 상황 인지(Context Awareness)를 반드시 구축하여 사용자가 기기를 변경할 때 앱이 적응하도록 해야 한다. 하지만 이런 인지 또한 개발자들이 이제 막 상상하기 시작한 애플리케이션을 새로운 가능성을 시사하고 있다.

만약 이것이 클라우드의 SF 버전처럼 들린다면, 제대로 들은 것이다. 하지만 많은 SF 환상들이 현실이 되었듯이 컴퓨팅 구조의 개념 또한 우리가 활용하고 누릴 수 있게 될 것이다. 아이클라우드와 윈도우 8은 단지 시작에 불과하다. --갤런 그루먼(Galen Gruman)

2. 소프트웨어로 정의된 네트워크(Software-Defined Networks)

고대의 산호초처럼 데이터센터 네트워크가 시간이 지나면서 천천히 하지만 끊임없이 성장하고 석회화되었다. 서버와 스토리지가 역학 관리를 지원하는 소프트웨어의 추상적 개념의 혜택을 본 반면에, 네트워크는 하드웨어의 한계 내에서 고정돼 있었다. 수십 년간 이어져 온 변화에 대한 저항이 이제는 클라우드 컴퓨팅을 향한 기로에서 큰 장애물이 되고 있다.

이런 장애물을 없앨 수 있는 것이 소프트웨어 정의망(SDN)이다. SDN은 혁신을 위한 중앙에서 관리되는 제어면(Control Plane)과 플랫폼으로써 활용되는 스위치(Switch)와 라우터(Router) 하드웨어 위에 소프트웨어 계층을 덧입힌다. SDN이 네트워크 가상화는 아니지만, 네트워크 가상화가 그 부산물이 될 수는 있다. 정확히 말해서 SDN은 "네트워크를 프로그램 하는" 방법이기 때문에 클라우드 제공업체들과 ISV들은 이를 이용해우리들 중 나머지가 의지할 수 있는 새로운 네트워킹 역량을 구축할 수 있다.

오늘날 SDN의 가장 큰 예는 오픈플로우(OpenFlow)이지만 오픈스택(OpenStack)의 퀀텀(Quantum), 쥬니퍼(Juniper)의 큐패브릭(QFabric), EMC VM웨어의 가상 네트워크 API, NEC의 프로그래머블플로우(ProgrammableFlow) 또한 SDN 접근방식을 취하고 있다. 오픈플로우의 경우, 네트워크 프로그래밍 계층은 점점 많은 네트워크 하드웨어 업체들이 지원하는 개방형 프로토콜(Protocol)이다. 오픈플로우는 스위칭 하드웨어에 대한 변화가 필요 없으며 해당 스위치를 통과하는 모든 트래픽이 오픈플로우 프로토콜을 통해 관리될 필요가 없다는 것이 장점이다. 이것은 기존의 네트워크 인프라에서 작동할 수 있도록 설계됐다.

오픈플로우는 대규모 생산 네트워크 상에서 새로운 네트워크 프로토콜로 실험할 수 있는 방법을 원했던 대학 연구원들의 아이디어이며 공공 클라우드에서 무수히 많은 빅 데이터 처리 클러스터를 운영함으로써 발생하는 네트워킹 문제들을 해결하기 위해서 연구실에서 처음 사용되었다. 앞으로는 공공 및 프라이빗 클라우드에서의 대규모 가상화 및 멀티테넌시(Multitenancy)에 의한 문제들을 해결하게 될 것이다.

오픈플로우는 아직 초기 단계로 현재 기능이 제한적이기 때문에 명확하게 정의된 목표를 달성하기 까지는 시간이 걸릴 것으로 보인다. 오픈플로우를 뒷받침하는 컨소시엄인 오픈 네트워킹 파운데이션(Open Networking Foundation)은 설립된 지 1년이 채 안되었지만 페이스북, 구글, 마이크로소프트, 야후, 시스코 시스템즈, 쥬니퍼 네트웍스, HP, 시트릭스 시스템즈, 델, IBM, NEC, VM웨어 등을 구성원으로 확보하고 있다. 이 모든 기업들은 현존하는 가상화 클러스터의 관리 가상 머신(Virtual Machine)만큼이나 유연하면서 역동적인 미래의 데이터 센터와 클라우드를 위한 공급 및 관리 네트워크를 구축하기 위해 소프트웨어 정의망에 의존하고 있다. --더그 다인리(Doug Dineley)

1. 프라이빗 클라우드 통합

개별적인 프로젝트에 대한 인프라와 관리자와 할당하는 기존의 방식은 우리에게 독이 되고 있으며 역량의 낭비, 높은 관리 간접비, 너무 긴 프로젝트 주기 등의 결과를 낳고 있다. 프라이빗 클라우드에서 컴퓨트, 스토리지, 네트워크 리소스를 모으고 IT를 더욱 민첩하면서 효율적인 공유된 아키텍처로 이끄는 방법이 있다.

프라이빗 클라우드를 이용해 IT 관리자들은 공공 클라우드 제공업체들이 개척한 기술과 아키텍처를 빌어오고 이것을 자신들의 데이터 센터에 적용할 수 있다. 이런 클라우드에는 가상화 관리, 계량 및 비용청구 시스템, 자동화된 설정, 자체 서비스 공급 등의 많은 유동적인 부분들이 포함된다.

현재 이런 기술들은 다양한 제품과 솔루션에 걸쳐 확산되어 있다. 하지만 지난 해 그 중 하나가 놀라울 정도의 속도로 성장했다. 그것은 다른 아닌 오픈스택으로 알려진 오픈소스 프로젝트로서, 클라우드 통합 서비스의 핵심 부분이라 할 수 있는 가상 머신 관리, 오브젝트 스토리지(Object Storage), 이미지 서비스 등을 제공한다.

스스로를 '클라우드 운영 체제'라 알린 오픈스택은 초기에 랙스페이스(Rackspace)와 나사(NASA)가 개발했지만, 지난 달 개별적인 기관으로써 프로젝트가 분리될 것이라는 계획이 발표되었다. 여기에는 현재 AMD, 시스코, 시트릭스, 델, F5, HP, 인텔, NEC 등과 신생 클라우드 기업들을 포함한 138개 이상의 기업들이 참여하고 있는 것으로 알려져 있다. 오픈스택에 따르면, 2012년에 ID와 자가 서비스 계층이 포함된 차기 버전이 공개될 예정이다. 또한 시트릭스(올림푸스 프로젝트)부터 신생 업체인 인터냅(Internap), 네뷸라(Nebula), 피스톤 클라우드 컴퓨팅(Piston Cloud Computing) 등에 이르기까지 다수의 업체들이 오픈스택의 상용 버전을 제공하기 위해서 경쟁하고 있다.

오픈스택의 경쟁자로는 기본적으로 아마존 웹 서비스(Amazon Web Service)의 프라이빗 클라우드 임플리멘테이션인 유칼립투스(Eucalyptus)가 있다. 아마존의 상호운용성이 상당한 이유는 유칼립투스 스택에 아마존의 API를 모방한 계층이 포함되어 있기 때문이다. 사용자는 아마존 EC2와 유칼립투스 사이의 미묘한 차이 때문에 문제가 발생하지 않는다면 작업 부하를 아마존 EC2에서 유칼립투스로 옮길 수 있다. 또한 유칼립투스는 오픈소스 버전으로도 제공된다.

프라이빗 클라우드 툴 패키지들이 스택의 모든 계층에서 등장하고 있다. 그 중 퍼펫(Puppet)은 데이터 센터에서 반복 가능한 작업의 거의 대부분을 자동화하도록 설계된 설정 관리 프레임워크이다. 퍼펫은 프레시 인스톨(Fresh Install)을 생성하고 기존의 노드(Node)를 감시할 수 있으며, 시스템 이미지를 내보낼 수 있을 뿐 아니라 업데이트하고 재설정할 수 있으며, 관리되지 않는 모든 서비스를 재 시작할 수 있다. 퍼펫의 개발사인 퍼펫 랩스(Puppet Labs)는 유칼립투스 및 오픈스택과 협력 관계를 맺고 있다.

"클라우드"라는 용어가 적용되는 모든 기술 클러스터에 관해 부정적인 시각을 갖기 쉽다. 하지만 더 큰 규모의 경제를 위해 리소스를 끌어낼 수 있는 대규모 가상화나 네트워크 컨버전스(Network Convergence) 등의 기타 계획의 혜택에 관해서는 그 누구도 의심하지 않는다.  이런 전형의 변화는 새로운 작업 방식을 필요로 하고 있으며, 새롭게 등장하고 있는 클라우드 통합 소프트웨어들이 그 수단을 제공하고 있다. --에릭 크노르(Eric Knorr)