10月23日，在第二十屆國際基因組學大會上，華大生命科學研究院與之江實驗室聯合發布了首個百億參數可部署的基因組通用基礎模型（Genos）。這一針對人類基因組深度優化的基因組基礎模型，可支持高達百萬堿基對的超長上下文分析，并實現單堿基分辨率的精準識別，有望為臨床疾病診斷、個人基因組解讀及前沿科學研究帶來突破性變革。相關研究成果于22日發表于GigaScience。
基因組學領域內的現有模型大多基于一到兩個參考基因組進行訓練，難以捕捉人類豐富的遺傳多樣性。而Genos則系統整合了人類泛基因組參考聯盟、人類基因組結構變異圖譜計劃等多個權威公開資源，首次匯聚了全球范圍內636個“端粒到端粒”級別的高質量人類基因組作為訓練數據。這些數據覆蓋了全球不同人群，旨在從源頭減少數據偏見，更全面地代表人類遺傳多樣性。
基因組的語言極其復雜，一個微小的單堿基突變，其影響可能由百萬堿基之外的“遙遠”調控元件決定。這要求模型既要有“顯微鏡”般的單堿基精度，又要有“廣角鏡”般的百萬級超長上下文理解能力。為此，Genos通過混合專家（MoE）架構，能在擁有百億級參數的龐大知識總量的同時，推理成本和資源消耗卻遠低于同等規模的模型。
為了全面驗證模型的性能，研發團隊進行了一系列測試。在基因組元件識別、遠程調控預測、突變致病性預測等經典評測任務里，Genos在超過一半的任務里比所有現有模型都表現更好，而且長序列評測任務里，如突變熱點識別和族群分類上，Genos的表現遠超同類模型，展現了其強大的上下文分析能力，有效破譯基因組中的“暗物質”。
在直接面向臨床應用的致病性突變解讀任務中，Genos實現了92%的準確性，當結合021科學基礎模型后，準確率高達98.3%，為臨床診斷提供了全新的高效工具。
發布會上，華大生命科學研究院宣布，Genos模型將全面、徹底地開源開放，且同時提供12億和100億參數兩個版本，滿足不同應用場景的需求。目前，兩個版本的模型權重、架構細節與完整訓練流程，均已在GitHub、Hugging Face、魔搭等平臺依據MIT開源協議公開發布，供全球開發者和科研人員自由使用。同時，在之江實驗室的開放平臺Zero2X也已發布。
據介紹，該模型的核心研發團隊，來自華大生命科學研究院與之江實驗室聯合發起的“大模型種子班”。為持續推動模型迭代，華大生命科學研究院近期還聯合國內外多家單位共同發起了“十萬長讀長大人群聯盟”和“百億細胞計劃”兩項大科學計劃，助力基因和細胞的融合大模型開發。