2024年5月13日，德國斯圖加特國家高性能計算中心（HLRS）主任Micheal Martin Resch應邀來廣東省智能科學與技術(shù)研究院（以下簡稱智能院）開展學術(shù)交流，并在23層報告廳作學術(shù)報告。
報告題為“HPC between the end of Moore's law and the rise of Artificial Intelligence”，由黃典副研究員主持。
隨著集成電路晶體管數(shù)量的增加，能耗問題日益突出。僅依賴工藝進步和硬件堆疊來提升系統(tǒng)性能的效益正在減弱。因此，架構(gòu)優(yōu)化，包括存算一體設(shè)計、訪存優(yōu)化及相關(guān)算法與軟件優(yōu)化等就顯得尤為重要。與此同時，AI技術(shù)在增強HPC建模、模擬加速、大數(shù)據(jù)分析等任務(wù)中發(fā)揮著越來越重要的作用，這也導致了對算力需求的快速增加。
在本次報告中，Micheal Martin Resch主任探討了超級計算機發(fā)展與摩爾定律之間的關(guān)系。隨著摩爾定律逐步終結(jié)，計算機性能增長放緩，構(gòu)建更領(lǐng)先的HPC系統(tǒng)面臨著政策、資本、人才和技術(shù)等多方面的挑戰(zhàn)。在實際應用中，算法對HPC系統(tǒng)性能的擴展性以及應用性能的提升起著關(guān)鍵作用。人工智能的迅速發(fā)展極大地重塑了超算系統(tǒng)的硬件架構(gòu)市場，但傳統(tǒng)HPC模擬是否能夠充分利用硬件性能，需要用戶和HPC技術(shù)人員付出大量的工作。
Resch同時指出，新型架構(gòu)的發(fā)展并非一帆風順，就像英偉達早期的GPU一樣，面臨著巨大的挑戰(zhàn)。然而，以CUDA為基礎(chǔ)，整個應用生態(tài)系統(tǒng)的構(gòu)建對于推動GPU生態(tài)的發(fā)展至關(guān)重要。Resch教授特別強調(diào)了HPC系統(tǒng)中能耗是一個重大問題，HPC系統(tǒng)中的大量能量被用于訪存，造成了巨大的能量浪費，同時也對超算基礎(chǔ)設(shè)施設(shè)計提出了很高要求。當前，大語言模型的能耗是巨大的，如何實現(xiàn)超算的可持續(xù)發(fā)展，以滿足不斷增長的算力需求，仍需要解決諸多問題。
報告結(jié)束后，智能院師生與Micheal Martin Resch主任就HPC技術(shù)與應用、新型計算架構(gòu)的挑戰(zhàn)與機遇，以及HPC人才培養(yǎng)等話題展開了熱烈的討論，并表示未來將加強交流和合作，共同推進HPC、AI技術(shù)進步和推廣應用。
