[Data Science] 빅데이터 가상화의 중요성

빅데이터의 도전적 과제를 해결하는데 있어 연산 및 데이터에 집중적인 어플리케이션 사용과 함께 고도로 분산된 데이터 저장소 관리가 필요하다. 가상화는 빅데이터 플랫폼을 현실로 만들어 줄 수 있는 효율성에 힘을 실어준다. 가상화가 빅데이터 분석에 대한 기술적 요구사항은 아니더라도 소프트웨어 프레임웍은 가상화 환경에서 보다 효율적이다.

가상화는 빅데이터 환경에서 요구하는 확장성 및 운영 효율성을 지원하는 세 가지 특성을 지닌다:

• 분할: 가상화에 있어 많은 어플리케이션과 운영 시스템들은 활용가능한 자원을 분할함으로서 단일 물리적 시스템만으로도 지원된다.

• 분리: 각 가상머신은 물리적 호스트 시스템과 기타 가상화머신으로부터 분리된다. 이러한 분리로 인해 만약 하나의 가상 인스턴스가 충돌할 경우, 다른 가상머신과 호스트 시스템이 영향을 받지 않는다. 게다가 어느 하나의 가상머신과 다른 가상머신 간에 데이터가 공유되지 않는다.

• 압축: 가상머신은 단일 파일로 표현되므로 제공되는 서비스에 입각하여 쉽게 구별할 수 있다.
  
  

빅데이터 서버 가상화

서버 가상화에 있어 하나의 물리적 서버는 다중의 가상 서버로 분리된다. RAM, CPU, 하드드라이브, 네트워크 제어기를 포함한 머신의 하드뒈어와 리소스는 일련의 가상머신으로 가상화 될 수 있으며 각각의 가상머신은 각자의 어플리케이션과 운영 체제 상에서 구동된다.

가상머신 (VM)은 가상머신으로서 동일한 함수를 실행하거나 수행할 수 있는 물리적 머신의 소프트웨어 표현이다. 소프트웨어의 얇은 층은 실제로 가상머신 모니터 또는 하이퍼바이저(hypervisor)를 포함하는 하드웨어에 포함된다.

서버 가상화는 하이퍼바이저를 이용하여 물리적 리소스 사용의 효율성을 증대한다. 물론 설치, 배치 및 관리자 태스크는 이러한 가상머신 설정과 관련된다.

서버 가상화는 여러분의 빅데이터 분석에 포함된 방대한 양의 데이터를 다루는데 필요한 만큼으로 스케일을 조정할 수 있도록 돕는다. 분석을 시작하기 전까지는 얼만큼의 데이터량이 필요한지 알 수 없는 경우도 있다. 이러한 불확실성으로 인해 서버 가상화는 더더욱 필요하며 이는 매우 많은 양의 데이터 세트를 처리하는데 요구되는 불확실성에 대한 대응할 수 있는 환경을 제공한다.

또한 서버 가상화는 빅데이터 분석에 있어 데이터 소스로 사용되는 다수의 클라우드 서비스를 가능케하는 기초를 제공한다. 가상화는 수많은 복잡한 시스템을 최적화 하는데 도움을 주는 클라우드의 효율성을 증대한다.

빅데이터 어플리케이션 가상화

어플리케이션 인프라 가상화는 고객의 요구사항에 대응하는 어플리케이션 관리를 위한 효율성을 제공한다. 어플리케이션은 기초적인 물리적 컴퓨터 시스템으로부터의 의존성을 제거하는 방식으로 압축된다. 이는 어플리케이션의 전체 관리성 및 편의성을 증대시킨다.

또한 어플리케이션 인프라 가상화 소프트웨어는 통상적으로 비즈니스와 기술적 용도를 구체화하여 각각의 어플리케이션이 예측가능한 방식으로 가상 리소스 및 물리적 리소스를 운영할 수 있도록 한다. 어플리케이션의 비즈니스의 상대적 가치에 따라 IT 리소스를 쉽게 분산할 수 있기 때문에 효율성은 증대된다.

서버 가상화와 결합된 어플리케이션 인프라 가상화는 바즈니스 서비스-수준의 합의를 이끌어내는데 도움을 줄 수 있다. 서버 가상화는  CPU와 메모리 사용을 모니터링하지만 리소스 분할 시 비즈니스 우선순위에 있어서의 변동성을 설명하지는 못한다.

빅데이터 네트워크 가상화

네트워크 가상화는 연결 리소스로서 네트워크의 효율적 사용 방법을 제공한다. 트래픽 관리에 있어 물리적 네트워크에 의존하는 대신, 동일한 물리적 실행에 필요한 다중의 가상 네트워크를 생성할 수 있다. 이는 특정 집단의 성능 특성과 다른 성능의 다른 네트워크 어플리케이션의 데이터 수집에 대한 정의가 필요할 경우 필요하다.

네트워크를 가상화하면 이러한 병목현상을 완화하고 빅데이터 분석에 필요한 큰 규모의 분산 데이터를 관리하는데 도움을 준다.

빅데이터 프로세서 및 메모리 가상화

프로세서 가상화는 프로세서를 최적화하고 성능을 최대화하는데 도움을 준다. 메모리 가상화는 서버로부터 메모리를 분리한다.

빅데이터 분석에 있어, 아직 발견하지 못한 패턴과 동향을 발견하기 위해 설계된 모든 데이터 집단의 쿼리를 반복하고 고도의 분석 알고리즘을 생성할 필요가 있다. 이러한 고도화된 분석법은 수많은 프로세싱 파워 (CPU)와 메모리 (RAM)을 요구할 수 있다. 이러한 연산에 있어, CPU와 메모리 리소스가 부족할 경우 매우 오랜 시간이 걸릴 수 있다.

빅데이터와 스토리지 가상화

이터 가상화는 동적 링크 데이터 서비스를 위한 플랫폼 생성을 위해 사용될 수 있다. 이는 데이터가 쉽게 통합 참조 소스에 연결되도록 한다. 결과적으로, 데이터 가상화는 근본적 물리 데이터베이스에 관계없이 일관된 형태로 데이터를 딜리버리하는 추상화 서비스를 제공한다. 게다가 데이터 가상화는 성능 향상을 위해 모든 어플리케이션에 캐시된 데이터를 노출시킨다.

스토리지 가상화는 물리적 스토리지 리소스와 결합하여 보다 효과적으로 이들을 공유한다. 이는 스토리지 비용을 줄이고 빅데이터 분석에 필요한 데이터 저장 관리를 용이하게 한다.