titan v,如何評價Titan

去年12月8日,英偉達在NIPS2017大會的一次活動中發布了最新消費級旗艦顯卡TitanV——Volta架構,包含最新的神經網絡計算單元TensorCore 。英偉達宣稱這塊最新Titan旗艦的性能可達上一代產品(TitanXp)的九倍 。
英偉達最新的Titan V是否值得購買?

titan v,如何評價Titan


去年 12 月 8 日,英偉達在 NIPS 2017 大會的一次活動中發布了最新消費級旗艦顯卡 Titan V——Volta 架構,包含最新的神經網絡計算單元 Tensor Core 。英偉達宣稱這塊最新 Titan 旗艦的性能可達上一代產品(Titan Xp)的九倍 。這款售價高達 3000 美元的顯卡是否值得購買?隨著 Titan V 陸續進入用戶手中,已有人對其進行了評測 。
Titan V 是英偉達最近推出的「桌面級」GPU,基于新一代 Volta 架構(12nm 工藝),擁有 211 億個晶體管、12 GB 的 HBM2 顯存,可以提供 110 TFLOPS 的「深度學習算力」,對于單塊顯卡而言,這是一個驚人的數字 。相比之下,此前的最強顯卡 GeForce 1080 Ti 可以輸出 11 TFLOPS「常規算力」,內存為 11GB DDR5,而售價則是相對親民的 699 美元 。
Titan V 身上的數字看起來非常 exciting,其 2999 美元的售價雖然有點難以讓人接收,但其接近 10 倍的算力提升是其最大賣點,我們能否用一塊 Titan V 代替 10 塊 1080 Ti?或者說,從價格來看,它能否超過 4 塊 1080 Ti?另一方面,英偉達 DGX 計算站現在的售價也下調至 49900 美元(原價 69900 美元) 。
這種設備內含 4 塊水冷服務器級計算芯片 Tesla V100,這種芯片理論上性能強于桌面級的 Titan V(雖然價格要貴上很多,但其中應該包含技術支持和整套服務級協議) 。盡管如此,大多數人(包括大量學校和科技公司的 AI Lab)是不會準備這種數量級的經費用于 GPU 的 。即使這樣的設備也在考慮范圍之內,我們也要先討論一下性價比的問題 。
所以我們的問題是,Titan V 是不是當前構建深度學習環境最為值當的選擇?讓我們從頭說起,Titan V 和它服務器級的親屬 Tesla V100 都是在去年推出的(V100 在 2017 年 5 月份推出,而 Titan V 在 12 月推出) 。大多數深度學習架構已經加入了對 Volta 架構的支持,確保其 Tensor Core 的潛力在模型訓練時充分發揮 。
例如,PyTorch 在近期發布了 0.3.0 版本,加入了 CUDA 9 和 Volta 架構 GPU 的支持 。在我近期對于新硬件的測試中,PyTorch 社區提供了很大幫助 。我已經在用 Titan V 運行 PyTorch 神經網絡框架上的程序了,目前的一些測試程序可以用來對比硬件性能的差異 。目前,我只能給出基于 PyTorch 0.3.0 的基準測試,我會在未來加入其他框架下的性能對比,這些測試將基于 CUDA 9.0.176 和 CuDNN 7.0.0.5,也有可能在這些 API 之外 。
看看以上結果 。我們讓 Titan V 和 GeForce 1080 Ti 在相同的設置下進行了對比測試(這些顯卡在同樣的計算機上經過了測試,都插在了 16x PCIE 接口上) 。上表中顯示的時間是 CNN 前向傳播(eval)和反向傳播(train)所需的時間,以毫秒計 。這些數字是超過 10 次操作的平均值,因為運算過多次,所以該數字相對穩定 。
其中有趣的地方在于:顯然,Titan V 的速度要快于 GeForce 1080 Ti 。然而如果僅比較 32-bit 位的運算(單精度),Titan V 僅比 1080 Ti 快 20% 左右 。Titan V 在 16-bit 運算(半精度)上的運行速度要比 32-bit 位的運算速度快上很多 。1080 Ti 也可以從半精度設置上受益,但速度提升相比 Titan V 而言較為平滑 。
這些數字告訴我們「無腦選 Titan V」并不一定是對的 。關于接近 10 倍的算力提升,英偉達說謊了嗎?我確定他們的營銷人員是誠實優秀的人,但是這里存在多個因素 。一,我確定從軟件的角度來看,充分利用 Volta 超快的 Tensor Core 還有改進空間 。但是即便如此,如果大部分代碼路徑不符合允許最大理論性能的條件,商家宣稱的大幅度性能提升就有待商榷了 。

推薦閱讀