中科曙光發布國內首個“科學大數據引擎”

科學大數據引擎發布儀式。

10月27日，2016年全國高性能計算學術年會（HPC China 2016）在西安舉行。剛剛斬獲《2016年中國高性能計算機TOP100排行榜》廠商份額8連冠的中科曙光，在大會期間發布了國內第一個科學大數據引擎”。用曙光公司董事總裁歷軍的話說，科學大數據引擎旨在集結曙光在大數據技術領域的優勢力量，積極應對科學大數據發展對傳統HPC系統提出的挑戰。

科學大數據的時代已經來臨。”歷軍告訴《中國科學報》記者，數字化作為一項群體性技術革命，已經深入到互聯網大數據、科學研究、工業制造、現代農業、服務業等各個應用場景，有力地帶動了產業升級和技術革新。而大數據技術給科學研究帶來的影響更為深遠科學發現將依賴數據計算來驅動。

面向科學大數據

近年來，大數據技術在各個領域廣泛應用，大數據的時代特征已十分顯著。在科學研究領域，圖靈獎得主、關系數據庫的鼻祖Jim Gray提出，數據密集型科學”正逐漸成為繼實驗科學、理論科學、計算科學之后的第四種科學發現新模式即第四范式。第四范式”強調數據將成為科學發現的基礎，而數據的采集、存儲、處理、分析和可視化則成為科學研究的新手段和新流程。

數據密集型科學的例子不勝枚舉：千人基因組計劃”每月產生1萬億條堿基序列信息，我國30多個在軌民用航天平臺每年有超過3PB遙感衛星數據，FAST 射電望遠鏡的數據產出速度是6000億條記錄/年，大型強子對撞機實驗每年產生15PB原始數據.

科學研究正變成一個又一個的大數據問題。在科學大數據引擎發布會上，曙光公司高性能產品事業部總工程師戴榮說，未來，基于對科學大數據的處理和分析將成為發現新知識的基本特征。

中國科學院軟件研究中心姚繼峰博士告訴《中國科學報》記者，科學大數據的海量、分散和異構的特征，向HPC系統發起了全新的挑戰。多數科研項目的數據量非常巨大且快速變化，且往往是分布、異構的，傳統的數據庫管理系統已不能滿足需要；此外對科學大數據的計算包括了從數據獲取、管理到分析、理解的全過程，傳統的高性能計算亟需將服務向外延拓展。

作為誕生于科研國家隊、多年服務于科研領域的HPC企業，中科曙光洞察到科學大數據對計算提出的更高要求，已經將服務科學大數據列入公司數據中國加速計劃戰略，戴榮說，這為科學大數據引擎的進一步開發和提高提供了保障。

計算模式走向融合

針對科學大數據數據量大且變化快、分布式異構多源、數據多維關聯、不同學科領域數據差異大等特征，曙光公司提出，科學大數據引擎要充當連接數據源和業務應用的黑匣子，將計算、分析一體化，一條龍解決數據的清洗轉換、存儲與管理、數據處理與挖掘、數據分析及可視化等工作，架起從科學數據到科學發現的橋梁。

戴榮介紹說，科學大數據引擎的黑匣子部署著曙光全系列數據計算技術及服務產品，包括存儲系統、高性能計算平臺、深度學習計算平臺、大數據處理平臺以及相應的運維管理平臺。

科學大數據引擎融合了高性能計算、認知計算、大數據分析計算等多種模式，是高性能計算與數據分析和挖掘的有機結合，可提供科研工作者一個實現科學數據存儲、分析和管理的一體化解決方案。戴榮評價說，科學大數據引擎是一個基于超融合架構的數據密集型計算平臺。

這一平臺已經在空天大數據的計算處理中展現了實力。遙感數據有著數據量大、快速更新、隱含信息大等特點，隨著衛星越來越多、分辨率越來越高、更新層次越來越密，傳統的系統架構的瓶頸就凸顯出來。航天星圖科技（北京）有限公司總裁助理唐德可在發布會上說，類似科學大數據引擎特別適用于我們的科學計算，它能從數據存儲、高性能計算、智能分析等方面提升我們的產能，真正實現自動化、集成化和智能化。