某企業(yè)AI開發(fā)面臨的問題

　　某企業(yè)有四臺8卡GPU服務(wù)器供50位開發(fā)人員使用，典型的人多資源少。具體來說，有以下幾大問題：

　　人均不足一張GPU卡，GPU使用需要相互協(xié)調(diào)，開發(fā)效率低；

　　每十多人為一個小組共用一個GPU節(jié)點，可能使有的小組資源空閑而有的小組卻無資源可用，造成資源孤島；

　　缺乏優(yōu)先機制，重要任務(wù)無法得到及時提交；

　　在白天GPU卡幾乎全部用于開發(fā)環(huán)境創(chuàng)建，開發(fā)人員只能在晚上提交訓(xùn)練任務(wù)，模型訓(xùn)練數(shù)量非常有限。

　　AIStation三招解決企業(yè)算力問題

　　AIStation是面向AI企業(yè)開發(fā)場景的人工智能資源平臺，可通過資源配額、GPU共享、排隊托管三招“組合拳”，智能化分配GPU計算資源，提高資源利用率，幫助用戶提高開發(fā)效率。

　　首先，AIStation收攏分散的計算資源，提供集群式的池化管理，并設(shè)置資源配額策略，實現(xiàn)多用戶公平均衡使用資源。

　　AIStation將開發(fā)用戶劃分為5個用戶組，每個用戶組10人，并根據(jù)業(yè)務(wù)需求設(shè)置每組和每個用戶的使用配額，如可設(shè)置每組使用6張GPU卡、40個CPU核。并對每個用戶的開發(fā)環(huán)境使用時長、同時提交任務(wù)數(shù)量進(jìn)行限制。

　　其次，AIStation通過GPU共享策略，可以讓多人共用一張GPU卡且互不影響。

　　AIStation統(tǒng)一管理4臺GPU節(jié)點，將其中2個節(jié)點的16張GPU卡設(shè)置為開發(fā)資源組，用于開發(fā)環(huán)境創(chuàng)建，剩下16張GPU卡為訓(xùn)練資源組，用于模型訓(xùn)練。通過共享策略，AIStation可將開發(fā)資源組的每張GPU卡切分為8份，每份使用4G顯存。這樣原來的16張GPU卡相當(dāng)于變?yōu)榱?28張卡。并且通過設(shè)置CPU超線程策略擴(kuò)展CPU核數(shù)，滿足50個用戶同時創(chuàng)建開發(fā)環(huán)境的需求。用戶也可以根據(jù)自己的模型設(shè)置batchsize和顯存使用的大小。

　　GPU共享模式

　   AIStation通過任務(wù)排隊托管、定義任務(wù)優(yōu)先級，充分利用空閑時間訓(xùn)練任務(wù)，并且可根據(jù)優(yōu)先級調(diào)度任務(wù)排隊運行。

　　用戶可同時提交多個訓(xùn)練任務(wù)，資源不足時排隊等待，一個任務(wù)訓(xùn)練結(jié)束后自動釋放資源給排隊等待的任務(wù)，從而可以充分利用夜間、周.末訓(xùn)練任務(wù)，延長GPU的使用時間。同時用戶可設(shè)置優(yōu)先級，讓重要任務(wù)優(yōu)先訓(xùn)練。

　　開發(fā)用戶任務(wù)托管

　　AIStation取得顯著效果

　　GPU使用時間加大近1倍。原來單個GPU節(jié)點分配給一個用戶小組使用，每卡每天的平均使用時間僅為14.4小時。AIStation通過GPU共享、任務(wù)托管，解決資源孤島，將每卡每天的平均使用時間提升到22.8小時。

　　一天周期內(nèi)集群GPU使用情況

　　GPU利用率提升50%。原來用戶在開發(fā)階段獨占一張GPU，GPU利用率僅為10%，訓(xùn)練階段可達(dá)90%，每天每卡的平均利用率為30%。使用AIStation后，開發(fā)階段8人共用一張GPU卡，GPU利用率可上升為80%，訓(xùn)練階段為90%，每天每卡的利用率可達(dá)到80%。

　　GPU使用情況對比

　　每周訓(xùn)練任務(wù)的數(shù)量增大一倍多。假設(shè)提交一個ImageNet數(shù)據(jù)集和一個ResNet50模型，使用1張Tesla V100 GPU卡訓(xùn)練任務(wù)，每個任務(wù)的訓(xùn)練時間大概為12小時。

　　原來因為人均不夠一張卡， 白天GPU卡用于創(chuàng)建開發(fā)環(huán)境，晚上才能訓(xùn)練任務(wù)，那么一個工作日可以完成的任務(wù)數(shù)多為32個，即一周可以完成160個任務(wù)。

　　而AIStation支持任務(wù)排隊，可以至大限度的使用GPU資源。一周可以完成368個任務(wù)數(shù)，效率提升2.3倍。假設(shè)開發(fā)團(tuán)隊單個項目平均需要訓(xùn)練的任務(wù)數(shù)為50，那么每個月的項目完成數(shù)從3個提升到7個。

　　可以看出，浪潮AIStation通過對計算資源的高效管理、調(diào)度，在GPU使用時間、利用率和訓(xùn)練任務(wù)數(shù)量上，相比原方案均實現(xiàn)了大幅提升，化地優(yōu)化了資源使用。

　　浪潮AIStation人工智能資源平臺面向AI企業(yè)開發(fā)場景，致力于幫助企業(yè)構(gòu)建一體化的AI開發(fā)平臺，為AI開發(fā)工程師提供高效的計算力支撐、精準(zhǔn)的資源管理和調(diào)度、敏捷的數(shù)據(jù)整合及加速、流程化的AI開發(fā)業(yè)務(wù)整合，助力AI企業(yè)提高開發(fā)效率和產(chǎn)品上市速度，增強企業(yè)競爭力。

　　除了高效的資源管理，AIStation在開發(fā)環(huán)境創(chuàng)建、數(shù)據(jù)管理、開發(fā)流程管理等方面也表現(xiàn)出色。