.精品久久久麻豆国产精品,а√天堂网www在线中文,国产成人欧美一区二区三区,疯狂的欧美乱大交另类,99热都是精品久久久久久

Mar 23, 2020

種草指南|2020深度學(xué)習(xí)GPU橫向比較，哪款是你的心頭好？

搞AI，誰又能沒有“GPU之惑”？下面列出了一些適合進(jìn)行深度學(xué)習(xí)模型訓(xùn)練的GPU，并將它們進(jìn)行了橫向比較，一起來看看吧！

微信ID：kuanfankeji


CPU與GPU對比

CPU是一個有多種功能的優(yōu)秀領(lǐng)導(dǎo)者。它的優(yōu)點在于調(diào)度、管理、協(xié)調(diào)能力強(qiáng)，計算能力則位于其次。而GPU相當(dāng)于一個接受CPU調(diào)度的“擁有大量計算能力”的員工。

下圖是處理器內(nèi)部結(jié)構(gòu)圖：

DRAM即動態(tài)隨機(jī)存取存儲器，是常見的系統(tǒng)內(nèi)存。

Cache存儲器：電腦中作為高速緩沖存儲器，是位于CPU和主存儲器DRAM之間，規(guī)模較小，但速度很高的存儲器。

算術(shù)邏輯單元ALU是能實現(xiàn)多組算術(shù)運算和邏輯運算的組合邏輯電路。

當(dāng)需要對大數(shù)據(jù)bigdata做同樣的事情時，GPU更合適，當(dāng)需要對同一數(shù)據(jù)做很多事情時，CPU正好合適。

GPU能做什么？關(guān)于圖形方面的以及大型矩陣運算，如機(jī)器學(xué)習(xí)算法等方面，GPU就能大顯身手。

簡而言之，CPU擅長統(tǒng)領(lǐng)全局等復(fù)雜操作，GPU擅長對大數(shù)據(jù)進(jìn)行簡單重復(fù)操作。CPU是從事復(fù)雜腦力勞動的教授，而GPU是進(jìn)行大量并行計算的體力勞動者。

深度學(xué)習(xí)是模擬人腦神經(jīng)系統(tǒng)而建立的數(shù)學(xué)網(wǎng)絡(luò)模型，這個模型的最大特點是，需要大數(shù)據(jù)來訓(xùn)練。因此，對電腦處理器的要求，就是需要大量的并行的重復(fù)計算，GPU正好有這個專長，時勢造英雄，因此，GPU就出山擔(dān)當(dāng)重任了。


太長不看版

截至2020年2月，以下GPU可以訓(xùn)練所有當(dāng)今語言和圖像模型：
  • RTX 8000：48GB VRAM，約5500美元
  • RTX 6000：24GB VRAM，約4000美元
  • Titan RTX：24GB VRAM，約2500美元

以下GPU可以訓(xùn)練大多數(shù)（但不是全部）模型：
  • RTX 2080 Ti：11GB VRAM，約1150美元
  • GTX 1080 Ti：11GB VRAM，返廠翻新機(jī)約800美元
  • RTX 2080：8GB VRAM，約720美元
  • RTX 2070：8GB VRAM，約500美元

以下GPU不適合用于訓(xùn)練現(xiàn)在模型：
  • RTX 2060：6GB VRAM，約359美元。

在這個GPU上進(jìn)行訓(xùn)練需要相對較小的batch size，模型的分布近似會受到影響，從而模型精度可能會較低。

GPU購買建議

  • RTX 2060（6 GB）：你想在業(yè)余時間探索深度學(xué)習(xí)。
  • RTX 2070或2080（8 GB）：你在認(rèn)真研究深度學(xué)習(xí)，但GPU預(yù)算只有600-800美元。8 GB的VRAM適用于大多數(shù)模型。
  • RTX 2080 Ti（11 GB）：你在認(rèn)真研究深度學(xué)習(xí)并且您的GPU預(yù)算約為1,200美元。RTX 2080 Ti比RTX 2080快大約40％。
  • Titan RTX和Quadro RTX 6000（24 GB）：你正在廣泛使用現(xiàn)代模型，但卻沒有足夠買下RTX 8000的預(yù)算。
  • Quadro RTX 8000（48 GB）：你要么是想投資未來，要么是在研究2020年最新最酷炫的模型。
  • NV TESLA V100 （32GB）：如果你需要在NVIDIA數(shù)據(jù)中心使用CUDA，那么TESLA就是必選品了。


圖像模型

內(nèi)存不足之前的最大批處理大?。?/span>
*表示GPU沒有足夠的內(nèi)存來運行模型。

性能（以每秒處理的圖像為單位）：
*表示GPU沒有足夠的內(nèi)存來運行模型。

語言模型

內(nèi)存不足之前的最大批處理大小：
*表示GPU沒有足夠的內(nèi)存來運行模型。

性能：
* GPU沒有足夠的內(nèi)存來運行模型。

使用Quadro RTX 8000結(jié)果進(jìn)行標(biāo)準(zhǔn)化后的表現(xiàn)

圖像模型

語言模型


結(jié)論

  • 語言模型比圖像模型受益于更大的GPU內(nèi)存。注意右圖的曲線比左圖更陡。這表明語言模型受內(nèi)存大小限制更大，而圖像模型受計算力限制更大。
  • 具有較大VRAM的GPU具有更好的性能，因為使用較大的批處理大小有助于使CUDA內(nèi)核飽和。
  • 具有更高VRAM的GPU可按比例實現(xiàn)更大的批處理大小。只懂小學(xué)數(shù)學(xué)的人都知道這很合理：擁有24 GB VRAM的GPU可以比具有8 GB VRAM的GPU容納3倍大的批次。
  • 比起其他模型來說，長序列語言模型不成比例地占用大量的內(nèi)存，因為注意力（attention）是序列長度的二次項。

附注：測試模型

圖像模型：

語言模型：

深度學(xué)習(xí)客戶 免費體驗

云軒云計算管理 零等待


云軒Cloudhin專注Deep learning和高性能計算服務(wù)器定制，針對主要深度學(xué)習(xí)框架（如TensorFlow、Caffe 2、Theano或Torch）進(jìn)行了優(yōu)化和設(shè)置，在桌面上即可提供強(qiáng)大的深度學(xué)習(xí)功能。布局全國八家直屬分公司，實時響應(yīng)您的定制需求，做您服務(wù)器的貼心管家。