• <table id="4yyaw"><kbd id="4yyaw"></kbd></table>
  • <td id="4yyaw"></td>
  • 發布時間:2021-12-03 10:46 原文鏈接: 讓超算有彈性,用超算更自由


    阿斯頓馬丁·紅牛車隊是世界一級方程式錦標賽(F1賽車)頒獎臺上的常客。這背后的秘訣,除了紅牛車隊擁有性能優異的賽車和技藝嫻熟的車手之外,他們還有一招“高科技”。

    在每次比賽之前,紅牛車隊都會動用超級計算機根據賽道及比賽環境做數字模擬,這包括但不限于使用虛擬風洞來優化賽車的空氣動力學模型、模擬電源散熱效率以讓賽車發揮出最大功率、模擬賽車撞擊來優化車身結構以及讓賽車符合比賽的安全規定等等。總之,借助超級計算機,紅牛車隊會利用一周的時間完成這一系列針對性的模擬和優化,以保證他們在每一場比賽都有備而來。

    這是高性能計算機(HPC,也稱超算)有著廣泛用途的一個例證,各行各業都有機會通過超算挖掘潛力。然而麻煩在于,并非所有希望用上超算的人或團隊都有紅牛車隊那樣雄厚的背景,有機會搭建一套完全屬于自己超算平臺。事實上,怎么用上“高大上”的超算,長期以來都是困擾供需兩方的一大難題。

    尤其是,HPC當前還面臨著與大數據和人工智能應用融合的新場景。

    傳統超算應用的痛點

    事實上,各大超算中心不可謂不開放。以廣州超算為例,部署于此的“天河二號”超級計算機作為大灣區頂尖的超算平臺,是粵港澳高校院所眼里的香餑餑。為了提高其資源共享能力,2018年廣州超算還聯合9家粵港澳高校成立“粵港澳超算聯盟”,推動超算資源共享。

    青云QingCloud云平臺&服務部高級總監陳海泉觀察后認為,這類大型超算的使用方式有兩個潛在的痛點:不方便和不安全。

    傳統的超算中心用戶在申請使用超算平臺時,首先要提交申請,并等待人工審批;當審批得到通過后,用戶需要自行安裝VPN客戶端以連接超算中心提供的登錄節點。

    而要說明的是,一些大型超算中心的登錄節點往往是多用戶共享的。陳海泉說,共享登錄節點有兩個問題,一是超算中心為了保證其自身安全,不提供用戶根用戶權限(即root權限),這會給用戶安裝應用軟件帶來一些麻煩——比如用戶如需要安裝系統軟件,需要到超算中心實地現場指導運維人員安裝;二是Linux系統漏洞不可避免,如果漏洞被個別用戶利用得到root權限,就能竊取平臺上其他用戶的數據。

    猛增的大數據和人工智能業務,也對傳統超算提出著新的挑戰。

    陳海泉認為,大數據應用自帶兩大需求:存儲容量大、存儲要求多(數據類型多樣),單一超算資源難以同時滿足用戶“既要計算性能、又要存儲容量、還要價格便宜”的訴求;而許多人工智能業務則需要充足的GPU資源,以及匹配的軟件框架(如TensorFlow等),這對于以Slurm調度器為主的超算中心而言也意味著很大的挑戰。

    鎮痛藥方:彈性高性能計算

    洞察到這些痛點,從事企業級云計算服務的青云QingCloud于11月23日宣布入局高性能計算,希望通過云平臺的加持,解決超算應用中的挑戰。

    青云用“云平臺+超算”開出的“藥方”,是彈性高性能計算(EHPC)。

    彈性,顧名思義,是希望提供的超算資源靈活可伸縮。如何做到彈性?青云的做法是,依托超算中心構建算力池,用公有云服務的方式,提供用戶所需的算力及擴展。簡而言之,青云EHPC對超算中心提供運營服務,對超算用戶提供超算應用入口。

    換句話說,青云在超算與用戶之間扮演了一個類似房屋中介的角色。

    陳海泉認為,基于上述超算應用的痛點,青云這個“中介”能夠發揮獨特作用。比如,在虛擬化技術加持下,QingCloud EHPC平臺提供用戶獨立(相互隔離的)計算、網絡、存儲空間,用戶擁有獨享的登錄節點,同時借助虛擬化技術還可快速為不同業務構建其所需的運行環境,并可隨時在不同軟件平臺切換,充分利用超算中心的硬件資源滿足各類業務需求。

    擁有獨享登錄節點并不是EHPC的全部,畢竟獨享登錄節點和獨享HPC集群還有所區別。據QingCloud EHPC產品經理苗慧介紹,青云還可為用戶提供獨享的EHPC集群。

    在獨享EHPC集群下,用戶可以擁有一個根用戶賬號(root賬號),這使得用戶不僅能夠自由安裝所需系統軟件,還可以自由搭配所需的計算、存儲、網絡等硬件,以滿足特定業務場景。當然,這種模式下也不必排隊等待,可以像紅牛車隊那樣自由地享用超算便利。

    不排隊不浪費的算力網絡

    在為傳統超算應用中存在的痛點開出藥方的同時,也考驗著青云QingCloud這樣的“中介”的技術能力。他們一頭連著超算,一頭連著各行各業的用戶,需要不僅摸得清超算的“脾氣”,還要對不同專業有所洞察:他們用什么軟件、該如何調試運行腳本、出現問題該怎么應對等等。因此,這是一個技術含量高、綜合能力強的“中介”角色。

    青云是一家有著公有云服務基因的技術公司,他們在與用戶的交互中也有機會鍛造一批交叉技術人才。苗慧也表示,青云有專門的EHPC技術支持隊伍,現在規模有數十人,他們主要面對非計算機專業用戶的應用問題。當然,作為必備,QingCloud EHPC還有豐富的應用軟件,涵蓋分子生物學、新材料、新能源、大氣海洋環境、地球物理等領域,這些軟件通過共享軟件目錄的形式,供用戶調用。

    目前,青云已經與某國家級超算中心等超算平臺展開合作,通過將超算中心接入分布式云節點的方式,讓超算平臺實現開放共享。


    相關文章

    我國學者實現億級原子生物分子拉曼光譜量子力學模擬

    圖在國產超算上實現包含億級原子的生物分子體系的拉曼光譜量子力學模擬在國家自然科學基金項目(批準號:T2222026)等資助下,中國科學技術大學精準智能化學重點實驗室商紅慧教授、楊金龍教授團隊與中國科學......

    中國超算艱難突圍記

    文丨《中國科學報》記者趙廣立20世紀八十年代我國高性能計算機(即“超算”)完全依賴進口西方國家為了封鎖超算核心技術同時為了限制中方對超算的使用規定出口到中國的超算必須裝在一座透明玻璃房內鑰匙須由他們掌......

    大模型訓練遇“算力荒”,“超智融合”來幫忙

    論及當下計算技術的發展方向和趨勢,“超智融合”當仁不讓——在今年6月發布的2024年全球“最節能超算”榜單(Green500)上,位列榜單前三的超算都采用了“超智融合”的技術理念。超智融合,顧名思義,......

    國內首個“四算”融合試驗場在閩發布

    5月24日至25日,第七屆數字中國建設峰會在福州舉行。大會同期舉辦以“新質領航量見未來”為主題的2024量子信息論壇。在該論壇上,中國電信展示了其在量子領域的技術進展、產品成果、平臺能力和應用場景案例......

    擘畫計算產業新畫卷,國家超算互聯網正式上線

    4月11日,首屆超算互聯網峰會暨國家超算互聯網平臺上線儀式在天津舉辦,來自部委、中國科學院、中國工程院、省級科技廳、計算產業鏈相關企業等專家、代表數百人共聚一堂,見證了這一歷史性時刻。工信部高新司領導......

    美將用E級超算模擬核反應

    據美國能源部下屬阿貢國家實驗室官網26日報道,該實驗室科學家計劃使用其即將推出的百億億級(E級)超級計算機“極光”,來深入研究各種核反應堆模型的內部力學原理。這些模擬將提供前所未有的細節,提高科學家對......

    吳立新院士:超算是透明海洋技術體系的重要組成部分

    海洋與地球系統科學的發展事關氣候、能源、資源、環境、糧食等安全,是人類居住的重要空間依托和貿易的關鍵通道,也是地球氣候系統最為重要的調節器。目前只有5%-10%的海洋被人類所探索,超級計算是透明海洋技......

    展望量子與超算的融合發展

    LRZ與聯想和英特爾合作的超級計算機SuperMUC-NG曾在2019年全球高性能計算機TOP500榜單中排名第9。圖片來源:萊布尼茨計算中心萊瑟教授介紹LRZ的量子集成中心。記者李山攝位于慕尼黑附近......

    15倍提升!華科大團隊再破超算存儲世界紀錄

    近日,《中國科學報》從國際超算大會ISC2023獲悉,華中科技大學并行數據存儲實驗室(HUST-PDSL)聯合華為分布式存儲和濟南超級計算技術研究院研發的OceanFS2超算文件系統,以突破性技術獲得......

    大灣區科學論壇:超算互聯網平臺將破解“算力荒”

    2023年大灣區科學論壇信息與通信分論壇(下稱“信通論壇”)于22日在廣州舉辦。國家高性能計算機工程技術研究中心副主任曹振南透露,國家超算互聯網平臺(下稱“超算互聯網平臺”)已進入研發階段,將逐步落實......

  • <table id="4yyaw"><kbd id="4yyaw"></kbd></table>
  • <td id="4yyaw"></td>
  • 调性视频