Scientific Computing & Data Science

대부분의 빅데이터 관리 전문가들은 구조형 데이터베이스 관리 환경에서 메타데이터 관리의 필요성에 익숙하다. 이러한 데이터 소스들은 강한 유형적 틀을 지니며(예를 들어, 첫번째 10글자는 이름으로 정하는 것 등) 메타데이터 운영을 위해 설계되었다. 메타데이터가 비정형 구조 데이터에서는 존재하지 않는 것으로 가정하는 경우가 많은데 사실은 그렇지가 않다.통상적으로 어떤 유형의 데이터든지 구조를 발견할 수 있다. 비디오의 예를 들어 보자. 특정 비디오 콘텐츠를 정확히 알 수는 없지만 비디오 기반 데이터의 포맷 내에 많은 구조가 존재한다. 만약 비정형 구조의 텍스트를 본다면 영어로 씌어져 있는 단어들을 볼 수 있으며 적합한 툴을 적용한다면 텍스트를 해석할 수 있다.비정형 구조 데이터로부터 이러한 내포적 메타데이터로..

거의 모든 도시가 세금의 형태, 건물과 다리의 센서, 교통 상황 모니터링, 위치 데이터, 범죄 활동 관련 데이터 등의 빅데이터를 사용할 수 있는 역량을 갖추고 있다. 도시를 더욱 안전하게, 보다 효율적으로, 더욱 살기 좋은 곳으로 또는 더욱 일하기 좋은 곳으로 만드는 실행 가능한 정책을 만들기 위해서는 다양한 소스로부터 방대한 양의 데이터를 수집하고 분석해야 한다.많은 도시 공무원들은 공공 정책 향상에 관한 연구에 수반되는 대부분의 데이터(년도별 인구 데이터, 경찰 기록, 도시 세금 기록 등)를 수집해 오고 있으며, 분석하는 기간은 역사적으로 볼 때 몇달 또는 몇년이 소요되었다. 경찰서와 같은 하나의 특정 공무 기관 내에서 조차 각각의 분할된 지구가 따로따로 데이터를 수집하며 도시 및 주변 커뮤니티가 이..