GPU驅(qū)動后摩爾定律時代 提供強大加速動力
2015年全國高性能計算學術(shù)年會(HPC China 2015)今日在無錫開幕。全球視覺計算的行業(yè)領(lǐng)袖NVIDIA(英偉達)及應(yīng)用其GPU的眾多企業(yè)和科研機構(gòu),帶來近20場報告和演講,針對GPU的最新技術(shù)以及GPU在科學計算、大數(shù)據(jù)分析、深度學習乃至自動駕駛汽車領(lǐng)域的應(yīng)用和創(chuàng)新,做了深度解讀和分享。隨著深度學習爆發(fā)式發(fā)展,GPU成為HPC 領(lǐng)域受關(guān)注的焦點。
在大會首日上午的特邀報告中,NVIDIA解決方案工程架構(gòu)副總裁Marc Hamilton提到:“在NVIDIA的推動下,過去7年間整個加速計算領(lǐng)域獲得了10倍的增長,NVIDIA的GPU加速器占據(jù)了加速器市場85%的份額。同時在GPU的驅(qū)動下全球和中國都掀起了深度學習熱潮,GPU也已成為深度學習研究的首選技術(shù)平臺。此次大會我們非常高興地看到GPU幫助了眾多企業(yè)和研究機構(gòu)在HPC和深度學習領(lǐng)域?qū)崿F(xiàn)大量創(chuàng)新應(yīng)用,相信我們將于明年面世的下一代GPU架構(gòu)Pascal和NVLink高速互聯(lián)技術(shù),將為數(shù)據(jù)中心和深度學習提供更加強大的加速動力?!?/p>
“后摩爾定律”時代 GPU提供強大加速動力
計算核心并沒有越來越快,只不過處理器正朝著并行化的方向發(fā)展。如今我們已步入了“后摩爾定律時代”,處理器單線程性能的增速放緩,邏輯核心數(shù)量則在不斷增加,由CPU和加速器構(gòu)成的加速計算體系,成為整個計算領(lǐng)域的必然趨勢。
目前,加速器發(fā)展勢頭迅猛,自2010年到今天的短短幾年時間,全球超級計算機TOP 500榜單中采用加速器的系統(tǒng)就已經(jīng)達到90臺。同時,最常用的50款HPC應(yīng)用中有70%已支持加速器加速。
NVIDIA在整個加速計算領(lǐng)域中居于主導地位,其推出的Tesla GPU加速器和CUDA?并行計算架構(gòu),在過去7年中引領(lǐng)了加速計算領(lǐng)域10倍以上的增長,例如支持CUDA的應(yīng)用數(shù)量從27款增長至334款,Tesla GPU加速器的使用量從6,000個增加至45萬個,占據(jù)整個加速器市場85%的份額。
2008年全球首臺GPU超級計算機即由Tesla GPU加速器驅(qū)動,隨后幾年內(nèi)Tesla GPU加速器更成就多臺優(yōu)異超級計算機,例如美國的泰坦系統(tǒng)。而當前美國基于Tesla GPU加速器正構(gòu)建兩臺新一代超級計算機高峰和峰巒,將距離百億億次級計算目標更近一步。
NVIDIA的Tesla GPU加速器還在2013年幫助科學家實現(xiàn)重大突破,首次確定了HIV"病毒衣殼"的準確化學結(jié)構(gòu)。而如果不使用GPU,則需要5倍的處理器規(guī)模才能達到近似的性能;Tesla GPU加速器還可顯著提升成本效益,例如谷歌大腦系統(tǒng)在使用Tesla加速器后,性能提升到之前的6倍,而能耗卻從原先的600千瓦降低到4千瓦。
高密度GPU服務(wù)器也已成為主流,Cray、DELL、HP以及Quanta都已推出支持Tesla GPU加速器的產(chǎn)品,可為HPC客戶提供直接、完整的解決方案。
圍繞Tesla GPU加速器和CUDA并行計算架構(gòu),NVIDIA推出了Tesla加速計算平臺,專門針對大數(shù)據(jù)分析與科學計算領(lǐng)域的密集型計算需求,構(gòu)建了一個由軟件開發(fā)者、軟件供應(yīng)商以及數(shù)據(jù)中心系統(tǒng)OEM廠商組成的綜合生態(tài)系統(tǒng)。Tesla平臺可為高性能計算專業(yè)人士提供所需的工具,使其能夠在數(shù)據(jù)中心輕松地打造、測試和部署加速的應(yīng)用。
當前Tesla加速計算平臺的最新旗艦是Tesla K80雙GPU加速器,它可提供最快的數(shù)據(jù)分析和科學計算性能,被眾多對計算有較高要求的企業(yè)和研究機構(gòu)列為首選升級方案。Tesla K80擁有帶寬極高的24GB內(nèi)存、高達8.74TFlops的單精度峰值浮點性能和高達2.91 TFlops的雙精度峰值浮點性能。在數(shù)百款HPC應(yīng)用中,Tesla K80比當今最快CPU快10倍。
得益于優(yōu)秀的性能表現(xiàn),Tesla K80已開始在全球得到廣泛應(yīng)用。瑞士聯(lián)邦氣象氣候局利用基于Tesla K80的超級計算機,將氣象模型解析度和能源使用效率分別提升到之前的兩倍和三倍。同時,Tesla K80也在各項超算大賽中發(fā)揮重要優(yōu)勢,幫助清華大學先后在今年ASC和ISC兩次超算大賽中獲得總冠軍。也因此讓Tesla GPU加速器公認成為在超算大賽中獲得優(yōu)勝的首選加速方案。
作為能夠讓開發(fā)人員輕松為應(yīng)用實現(xiàn)GPU加速的并行編程標準,NVIDIA一直推動其在HPC領(lǐng)域中的普及,并促進其在更多的加速器平臺和CPU架構(gòu)上的應(yīng)用。目前全球已經(jīng)有超過8,000名研究人員在采用OpenACC。NVIDIA在今年推出的OpenACC工具包可以幫助開發(fā)人員快速利用OpenACC實現(xiàn)應(yīng)用加速;在上月末推出的新增對x86多核CPU的OpenACC支持的新版PGI加速器編譯器,讓開發(fā)者能夠?qū)贠penACC的源代碼進行編譯,使其可以在多核CPU或GPU加速器上并行執(zhí)行,為開發(fā)者帶來巨大的靈活性。
硬件架構(gòu)的升級也將進一步推動HPC行業(yè)的發(fā)展,將隨NVIDIA下一代GPU架構(gòu)Pascal一同到來的NVLink高速互聯(lián)技術(shù)可以為超級計算機內(nèi)CPU和GPU之間、以及GPU和GPU之間的數(shù)據(jù)傳輸帶來現(xiàn)有PCI-Express總線5倍的帶寬,最終的應(yīng)用性能也將獲得兩倍以上性能提升,為數(shù)據(jù)中心和深度學習提供強大的加速動力。
可以說,GPU加速器徹底改變了高性能計算行業(yè)。
GPU掀起深度學習革命 助力全球多領(lǐng)域創(chuàng)新
深度學習如今成為HPC行業(yè)中一個爆發(fā)式增長的應(yīng)用方向,大數(shù)據(jù)、算法的進步、強大的GPU加速,共同驅(qū)動了深度學習研究和應(yīng)用熱潮。諸如Adobe、百度、谷歌、Facebook、IBM等企業(yè)已成為深度學習領(lǐng)域的探索者和領(lǐng)導者,并在包括圖像識別、人臉識別、語音識別、視頻分析、語音識別和翻譯、自然語言處理等方面促成了大量革命性的進展和創(chuàng)新,這些創(chuàng)新已被廣泛應(yīng)用于社交網(wǎng)絡(luò)、安防和能源領(lǐng)域。
在醫(yī)學研究領(lǐng)域,深度學習助力創(chuàng)造多項革命,例如乳腺癌細胞有絲分裂檢測、藥物發(fā)現(xiàn)領(lǐng)域的分子活動預測、預測新型藥物的毒性,以及幫助科學家了解基于突變防止疾病。
在圖像識別領(lǐng)域,以ImageNet大規(guī)模視覺識別挑戰(zhàn)賽為例,GPU在2012年被首次應(yīng)用即取得了突破性成績,它幫助多倫多大學大幅提升了識別精度,將錯誤率從之前兩年的28%和26%直接降低到了16%,也由此掀起了GPU加速深度學習的熱潮。
作為深度學習研究技術(shù)平臺領(lǐng)導廠商,NVIDIA先后推出了多項創(chuàng)新產(chǎn)品和技術(shù),助力國內(nèi)外各大企業(yè)實現(xiàn)創(chuàng)新應(yīng)用,NVIDIA GPU也成為深度學習研究首選平臺。
在硬件方面,得益于統(tǒng)一的GPU架構(gòu),從嵌入式到桌面再到HPC和云服務(wù),NVIDIA可為不同的硬件平臺均提供深度學習研究的支持。其中,Tesla K80即有針對深度學習任務(wù)的優(yōu)化,在深度學習框架Caffe中,Tesla K80的速度更可以比CPU快上近24倍。
在軟件方面,NVIDIA推出了DIGITS深度學習訓練系統(tǒng),它是首個專門用于圖像分類的全功能圖像系統(tǒng),可用于設(shè)計、訓練和驗證深度神經(jīng)網(wǎng)絡(luò),目前已推出最新的DIGITS 2可以充分利用多GPU擴展實現(xiàn)性能翻倍。NVIDIA還推出了cuDNN(CUDA深度神經(jīng)網(wǎng)絡(luò)庫),讓開發(fā)者可以將其集成到更高級的機器學習框架如Caffe、Torch、Theano中,這些框架均可充分利用GPU加速,幫助研究人員高效地訓練更大、更復雜的神經(jīng)網(wǎng)絡(luò)。
NVIDIA還聯(lián)合曙光、浪潮等HPC領(lǐng)域的眾多合作伙伴,推動中國深度學習生態(tài)鏈的構(gòu)建,助力中國企業(yè)在深度學習領(lǐng)域的創(chuàng)新。例如此次NVIDIA 展臺展示的曙光XSystem深度學習產(chǎn)品,可為用戶提供完整的軟硬件一體化深度學習解決方案;NVIDIA與曙光、中科院計算技術(shù)研究所共建的深度學習與高性能計算聯(lián)合實驗室,將聯(lián)合開展深度學習軟硬件產(chǎn)品的開發(fā)和推廣工作。
目前,基于NVIDIA GPU的深度學習平臺已幫助谷歌、Facebook、阿里巴巴、百度、騰訊、京東、網(wǎng)易、科大訊飛、搜狗、愛奇藝等國內(nèi)外知名企業(yè)實現(xiàn)創(chuàng)新研究和應(yīng)用。例如,谷歌研究院利用GPU,在自動駕駛、智能交通領(lǐng)域關(guān)鍵技術(shù)行人檢測方面實現(xiàn)了的性能與精度的雙重飛躍;阿里云推出的中國知名個基于GPU計算的HPC云服務(wù)為諸多從事深度學習創(chuàng)新企業(yè)提供加速支持;百度研發(fā)的計算機視覺系統(tǒng)Deep Image和深度語音識別系統(tǒng)Deep Speech均在GPU的加持下實現(xiàn)了識別速度和精度的顯著提高。
深度學習還促成了新一輪創(chuàng)業(yè)熱潮,包括格林深瞳、曠視科技、圖普科技、Linkface、輕搜、元趣、小猿搜題等新興企業(yè)依托于NVIDIA GPU已開發(fā)出了大量的創(chuàng)新產(chǎn)品?!?/p>
關(guān)注我們



