網(wǎng)上有很多關(guān)于超級pos機平臺,超級計算機計算資源調(diào)度優(yōu)化關(guān)鍵技術(shù)研究的知識，也有很多人為大家解答關(guān)于超級pos機平臺的問題，今天pos機之家(www.tjfsxbj.com)為大家整理了關(guān)于這方面的知識，讓我們一起來看下吧!

本文目錄一覽：

1、超級pos機平臺

超級pos機平臺

文|九鵬舉

編輯|九鵬舉

當(dāng)前世界各國均把超級計算機視為國家科技創(chuàng)新發(fā)展的重大驅(qū)動平臺，紛紛制定計劃研制各自的超級計算機系統(tǒng)，將超級計算機的計算性能不斷推向新高。

2010年11月，我國研發(fā)的“天河一號”超級計算機首次奪得世界超級計算TOP500排名的桂冠，標志著世界超級計算機從Tflops時代進入Pflops時代。

2013年6月，同樣來自中國的“天河二號”超級計算機，以54.9Pflops的性能再次奪得世界第一。

2016年6月，“太湖之光”研制成功，接棒“天河二號”成為新的世界第一，峰值性能達到了125Pflops，標志著全球超級計算機的性能進入百Pflops時代。

雖然2018年6月，美國能源部下屬的橡樹嶺國家實驗室（OakRidgeNationalLaboratory）發(fā)布了新一代超級計算機“頂點”（Summit）。

其浮點運算速度峰值達到了每秒20億億次(200PFlops)，幫助美國問鼎闊別近5年之久的全球超級計算機500強榜單，但性能還處在百Pflpops規(guī)模。

而E級（百億億次）超級計算是當(dāng)前世界超級計算機領(lǐng)域公認的“下一頂皇冠”，將有望在解決全球環(huán)境污染、能源危機以及氣候變化等重大難題上發(fā)揮巨大作用。

隨著美國、中國、歐盟、日本相繼發(fā)布E級超級計算機的研制計劃，超級計算機將從Pflops時代逐漸邁進Eflpos時代。

當(dāng)前影響力最大的超級計算機開放日志集為希伯來大學(xué)的實驗系統(tǒng)實驗室開放的并行任務(wù)負載資料庫PWA，目前包含了來自全球39臺超級計算機的相關(guān)日志，已經(jīng)支持數(shù)百篇相關(guān)研究工作。

學(xué)者Feitelson等人詳細介紹了該資料庫中十幾臺超級計算機作業(yè)的相關(guān)特征，并針對如何利用該日志集開展研究工作給出了一系列實用的研究建議，供其他研究人員參考。

PWA定義了作業(yè)負載記錄的標準格式SWF，包括作業(yè)的提交時間、開始時間、運行時間、作業(yè)占用的核數(shù)，用戶信息以及其他相關(guān)因素。

網(wǎng)格環(huán)境的公開日志集為GWA，主要包括一些網(wǎng)格環(huán)境下超級計算機的相關(guān)運行日志。

GWA提供了基于SWF的擴展作業(yè)格式GWF，該格式大部分字段和SWF格式相同，只是補充了部分網(wǎng)格環(huán)境下適用的字段。

這兩種超級計算機的數(shù)據(jù)集暫時還未包含目前10Plops以上的超級計算機，其中規(guī)模較大的超級計算機為來自法國的居里（Curie）超級計算機，峰值計算能力2PFlops。

更大規(guī)模的超級計算機的用戶行為和負載特征等情況需要從其他相關(guān)研究中獲得。

國內(nèi)的研究人員在PWA的基礎(chǔ)上，針對國內(nèi)高性能計算機的特點，梳理了上海超算中心、國家超級計算無錫中心、上海交通大學(xué)、中國科技大學(xué)等單位的超級計算機的歷史作業(yè)數(shù)據(jù)，放入了中國超算任務(wù)負載資料庫，公開開放給相關(guān)研究人員使用。

目前該資料庫中，包括了上海超算中心的曙光5000A近3年的日志，國家超級計算無錫中心的一臺超級計算機4個月的日志（具體名稱未知），和來自上海交通大學(xué)和中國科技大學(xué)兩所高校的兩臺超級計算機各自2年的相關(guān)日志。

但從數(shù)據(jù)質(zhì)量上看，可能還需要進一步整理，比如國家超級計算無錫中心的超級計算機日志中無效的數(shù)值（-1）較多，對分析效果影響較大。

超級計算機的資源調(diào)度和分配由資源管理系統(tǒng)負責(zé)，目前應(yīng)用比較廣泛的資源管理系統(tǒng)包括Slurm，Torque，PBSpro，LSF等。

其中Slurm是一種在超級計算機上廣泛應(yīng)用的開源資源管理系統(tǒng)，包括“天河一號”，“天河二號”等超級計算機均采用了Slurm資源管理系統(tǒng)。

Slurm資源管理系統(tǒng)主要由控制進程、結(jié)點監(jiān)控進程、作業(yè)管理進程、記賬存儲進程、命令工具等多個組成。

其中控制進程slurmctld，負責(zé)資源分配、作業(yè)調(diào)度、作業(yè)管理控制等核心任務(wù)。

結(jié)點監(jiān)控進程slurmd運行在每個計算結(jié)點上，負責(zé)收集結(jié)點的資源狀態(tài)并向控制進程報告。

同時slurmd接收來自控制進程與用戶命令的請求，加載任務(wù)步或取消作業(yè)等。

作業(yè)管理進程slurmstepd由slurmd在加載作業(yè)步任務(wù)或批處理作業(yè)時派生，該進程管理結(jié)點上一個作業(yè)步的所有任務(wù)，負責(zé)進行任務(wù)的啟動、I/O轉(zhuǎn)發(fā)、信號傳遞、記賬信息收集等功能。

Slurm的sacct命令可以查看系統(tǒng)記賬日志或記賬數(shù)據(jù)庫中的作業(yè)與作業(yè)步的記賬數(shù)據(jù)，以進行分析。

通常資源管理系統(tǒng)負責(zé)超級計算機資源的調(diào)度和分配工作，資源管理系統(tǒng)基于選定的調(diào)度策略來調(diào)度和分配資源，典型調(diào)度策略包括FCFS，F(xiàn)irstFit，Backfilling等。

其中FCFS調(diào)度策略選擇作業(yè)隊列中的第一個作業(yè)進行調(diào)度，從作業(yè)提交的順序角度來看，該方法比較公平，但是這樣的調(diào)度通常會表現(xiàn)出較低的資源利用率。

為了解決這個問題，學(xué)者們提出了多種基于回填機制的調(diào)度方法，包括保守的回填策略（ConservativeBackfilling）和簡單回填策略（EASYBackfilling）。

保守回填策略，通常選擇作業(yè)隊列中不會延遲它前面所有作業(yè)執(zhí)行的作業(yè)進行資源分配，而簡單回填策略，則選擇作業(yè)隊列中不會延遲第一個作業(yè)執(zhí)行的作業(yè)進行資源分配。

還有其他研究尋找更多的回填策略來優(yōu)化調(diào)度，包括松弛回填（SlackBackfilling）算法，該算法給每個作業(yè)設(shè)置一個允許延遲的閾值，針對緊急、重要的任務(wù)設(shè)置較短的閾值，在調(diào)度中只要作業(yè)被延遲調(diào)度的時間不超過該閾值即可。

選擇性回填算法（SelectiveBackfilling）是針對等待時間足夠長的作業(yè)設(shè)定一個資源預(yù)約來提升調(diào)度效率。

為了能夠進行回填調(diào)度，用戶需要提前給出作業(yè)運行時間的評估值，該值在資源調(diào)度中和實際作業(yè)運行時間的準確性非常關(guān)鍵。

如果低于作業(yè)的運行時間，系統(tǒng)會將該作業(yè)在正常結(jié)束前提前中斷，因此用戶習(xí)慣于給出較高的作業(yè)運行評估時間，而這又反過來影響了系統(tǒng)的實際的調(diào)度策略。

公平性也是在高性能計算和網(wǎng)格環(huán)境中的研究熱點，但公平性的概念可以從不同的角度來理解。

當(dāng)前關(guān)于公平性的研究主要分為兩個維度：公平性調(diào)度（Fair-shedule）和公平性分配（Fair-share）。

公平性調(diào)度主要關(guān)注作業(yè)調(diào)度順序的公平性，晚提交的作業(yè)不能比早提交的作業(yè)先開始運行。

一個作業(yè)j的公平開始時間，通過去除作業(yè)j后面的所有作業(yè)，也就是把作業(yè)j作為隊列中的最后一個作業(yè)來進行模擬調(diào)度，此時作業(yè)j的開始時間就是它的公平開始時間。

Ngubiri等人對比了不同的公平性度量，包括分布，開始時間，排隊時間等，考慮了多個工作流的共性調(diào)度，給出了工作流的減速比的定義，表示一個工作流在與其他工作流一起調(diào)度時從提交到完成所需的時間。

與僅有它一個工作流從提交到完成所需的時間的比值，通過該值來評估調(diào)度策略的公平性。

還有一些其他研究關(guān)注資源分配排隊的公平性，重點考慮作業(yè)的運行、排隊等整體服務(wù)時間。

減速比排隊公平性基于用戶作業(yè)的等待時間要和它的服務(wù)時間成一定比例的要求，如果比例過高說明該作業(yè)的調(diào)度不夠公平。

實際上，在配額約束超級計算機上，由于用戶能夠清晰的知道他們的資源配額，并且知道他們超過配額的作業(yè)需要等待。

因此他們并不十分關(guān)心單個作業(yè)的等待時間，而是關(guān)心自己作業(yè)的等待時間和其他用戶作業(yè)的等待時間的不同，關(guān)注自己的作業(yè)是否被區(qū)別對待。

通過不同用戶的平均作業(yè)等待時間的均方差來表征這個方面的公平性，這里提出了基于保守回填方法的擴展版本，來提升性能和公平性。

公平性分配主要關(guān)注資源分配的公平性，用戶需要公平的共享系統(tǒng)資源。

最基本的公平性為，在一個有N個用戶的系統(tǒng)中，每個用戶占用1/N的資源。

如果用戶的權(quán)重不同，資源會按照權(quán)重進行分配，每個用戶獲得對應(yīng)權(quán)重比例的資源，最大最小值公平，是一個在系統(tǒng)中廣泛應(yīng)用的分配策略。

該方法的主要思想為，將資源按照每個用戶想要的可以滿足的最小需求進行公平分配，然后將剩余的空閑資源均勻的分配給需要大資源的用戶。

它按照資源需求遞增的順序進行分配，所有用戶得到的資源均不超過自己的需求，同時未得到滿足的用戶等價的分享資源。

例如在一個有4個用戶的集群中，每個用戶的資源需求（按照從大到小排列）分別為2，2.5，4，5，而系統(tǒng)的總資源為10。

則最大最小值公平分配的第一輪將資源分成4個2.5的份數(shù)，因為2.5大于2，則第一個用戶分配得2，剩下的8個資源分成三等份2.66。

由于2.66大于2.5，則第二個用戶分配得2.5，剩下的5.5分成2份2.75，均小于用戶3和4的需求，則用戶3和4分別獲得2.75的資源。

當(dāng)用戶具有不同的權(quán)重比值的時候，資源分配按照權(quán)重的比例進行。

由于最大最小值公平分配策略只能分配一種資源，而在系統(tǒng)中通常包含多種資源需求，比如CPU、內(nèi)存、I/O帶寬等。

然后通過將任務(wù)的多種資源需求中主要需求為分配關(guān)鍵點，擴展了最大最小值公平策略，并成為了眾多研究的熱點。

之后，有大量的研究基于DRF開展，衍生出了多種DRF的擴展或普適化版本。

學(xué)者Wang等人]提出了一種任務(wù)共享公平策略來解決任務(wù)有特定分配要求的情況下的資源分配問題。

比如某些任務(wù)只能分配給大內(nèi)存的結(jié)點，就可以增加了一個調(diào)節(jié)參數(shù)（knob），允許用戶通過它調(diào)節(jié)來尋求公平性和性能的平衡，同時提出了彈性多資源公平性分配方法來權(quán)衡CPU-GPU融合的架構(gòu)中的公平性和效率。

但這些研究都把資源看作和時間無關(guān)的參數(shù)，實際上這在超級計算機上的資源調(diào)度中是不切實際的。

兩個用戶同樣占用100個計算結(jié)點，一個用戶的作業(yè)運行時間1小時，另外一個10小時，二者的資源消耗明顯不同，在按需付費的超級計算機上，更是如此。

用戶根據(jù)資源消耗來付費，資源消耗指的是作業(yè)運行時間和占用的結(jié)點數(shù)的乘積，這是和時間緊密相關(guān)的。

以上就是關(guān)于超級pos機平臺,超級計算機計算資源調(diào)度優(yōu)化關(guān)鍵技術(shù)研究的知識，后面我們會繼續(xù)為大家整理關(guān)于超級pos機平臺的知識，希望能夠幫助到大家！