守财奴的种田生活小说
您當前位置:首頁 > 成功案例 > 高教案例 > 北京郵電大學大數據實驗平臺管理系統

北京郵電大學大數據實驗平臺管理系統

概述

        "大數據"是一個體量特別大,數據類別特別大的數據集,并且這樣的數據集無法用傳統數據庫工具對其內容進行抓取、管理和處理。 "大數據"首先是指數據體量(volumes)大,指代大型數據集,一般在10TB規模左右,但在實際應用中,很多企業用戶把多個數據集放在一起,已經形成了PB級的數據量。其次是指數據類別(variety)大,數據來自多種數據源,數據種類和格式日漸豐富,已沖破了以前所限定的結構化數據范疇,囊括了半結構化和非結構化數據。接著是數據處理速度(Velocity)快,在數據量非常龐大的情況下,也能夠做到數據的實時處理。最后一個特點是指數據真實性(Veracity)高,隨著社交數據、企業內容、交易與應用數據等新數據源的興趣,傳統數據源的局限被打破,企業愈發需要有效的信息之力以確保其真實性及安全性。

實現目標

    為北京郵電大學搭建大數據實訓室,為100人同時在線,提供Hadoop服務,同時進行并行存儲和并行計算。

基礎平臺搭建--云

云技術架構

        首先 “私有云”基于企業網構成,私有云的構建與運行者、資源提供者和使用者是集團和集團企業下屬相關廠所、研究單位、企業等,其目的主要是強調企業內或集團內制造資源和制造能力整合與服務,優化企業或集團資源和能力使用率,減少重復資源和能力的重復建設,降低成本,提高競爭力。

        云計算為方便地,按需地通過網絡訪問共享的計算資源提供了解決途徑,它可以實現基礎設施和用戶程序的快速自動部署,同時提供云環境(硬件,軟件)完整的生命周期管理。使用者可以通過網絡隨時訪問。同時將計算資源池化,各應用按負載要求從資源池中靈活調用,可以實現自動的資源添加或縮減,同時也可以統計各應用對計算資源的消耗情況。

        引入云計算平臺可以降低 IT 成本,同時提高現有資產的效率、利用率和靈活性。

采用云計算的優勢

        任何一種新的信息技術在企業中的應用,往往都是出于商業價值的考量。對基礎設施云來說也不例外。基礎設施云和傳統的IT架構相比,能極大的提高企業信息部門各個服務器的使用率,解決企業自有的計算力在高峰時期不足而在低谷時期又過剩的矛盾,提升企業信息系統的容錯性,并最終在規模化的基礎上產生的更好的成本效應。

邏輯架構設計

        云計算解決方案實現資源彈性調整以為上層服務云提供各類服務及業務系統,為了加強IT部門對于云平臺及下層各種資源的運維程度,我們需要建設一個統一的運維管理自動化平臺,該平臺采用OPENSTACK運維管理自動化產品的完整解決方案。OPENSTACK運維管理自動化產品能夠實現IT運維整個生命期的自動化,涵蓋了從最初的設備發現及拓撲生成,到安裝、配置、升級、安全管理、審計及擴展的全過程。

應用平臺搭建--大數據實驗平臺

        Hadoop 是一個能夠讓用戶輕松架構和使用的分布式計算平臺、輕松地在 Hadoop 上開發和運行處理海量數據的應用程序。它主要有以下幾個優點:

產品架構

1.      大數據實驗平臺管理系統架構

2.      設計要點

        界面化的 Hadoop 部署工具。采用開源的 openstack 虛擬化平臺。hadoop 基于 Apache Hadoop 二次開發,增進了易用性,同時增加 了 ResourceManager 高可用功能,可提供大于 2 臺的ResourceManager,保證 YARN 框架的 7*24 不間斷工作。集成了 Hadoop 生態圈的大部分生態應用,Accumulo,HBase,Hive,Pig,Storm,Kafka,Sqoop,Flume 等。已預編譯為 rpm、deb 方式,,支持 CentOS, RedHat 5/6, ubuntu等 Linux 操作系統。提供管理界面,可通過管理節點以界面化的方式快速部署和管理 Hadoop 集群,并提供監控功能,監測每臺節點的運行狀況。


發表時間:[2017-09-08 11:48:26]

守财奴的种田生活小说 牛牛娱乐棋牌 360北京pk10走势图 欢乐二八杠免费下载 北京塞车全天计划精准版 重庆时时彩计划软件手机版 北京pk赛车官方走势图 汇聚彩票 爱乐网 欢乐生肖最精准人工计划 北京塞车pk10官网开奖 斗牛配牌口诀 足球计算器让球胜平负