不管用何種方法調(diào)整超參數(shù)，目前利用固定架構(gòu)的訓(xùn)練流程在某種程度上局限了模型的可能性，也就是說，我們或許只在所有的解決方案中管窺了一部分。固定架構(gòu)讓模型內(nèi)的超參數(shù)設(shè)置探究變得很容易(比如，隱藏單元數(shù)、層數(shù)等)，但去探索不同模型間的參數(shù)設(shè)置變得很難(比如，模型類別的不同)，因為如果要就一個并不簡單符合某個固定架構(gòu)的模型來進行訓(xùn)練，就可能要花很長時間。相反，FPGA靈活的架構(gòu)，可能更適合上述優(yōu)化類型，因為用FPGA能編寫一個完全不同的硬件架構(gòu)并在運行時加速。

4.3. Low power compute clusters低耗能計算節(jié)點集群

深度學(xué)習(xí)模型最讓人著迷的就是其拓展能力。不管是為了從數(shù)據(jù)中發(fā)現(xiàn)復(fù)雜的高層特征，還是為數(shù)據(jù)中心應(yīng)用提升性能，深度學(xué)習(xí)技術(shù)經(jīng)常在多節(jié)點計算基礎(chǔ)架構(gòu)間進行拓展。目前的解決方案使用具備Infiniband互連技術(shù)的GPU集群和MPI，從而實現(xiàn)上層的并行計算能力和節(jié)點間數(shù)據(jù)的快速傳輸。然而，當大規(guī)模應(yīng)用的負載越來越各不相同，使用FPGA可能會是更優(yōu)的方法。FPGA的可編程行允許系統(tǒng)根據(jù)應(yīng)用和負載進行重新配置，同時FPGA的能耗比高，有助于下一代數(shù)據(jù)中心降低成本。

結(jié)語

相比GPU和GPP，FPGA在滿足深度學(xué)習(xí)的硬件需求上提供了具有吸引力的替代方案。憑借流水線并行計算的能力和高效的能耗，FPGA將在一般的深度學(xué)習(xí)應(yīng)用中展現(xiàn)GPU和GPP所沒有的獨特優(yōu)勢。同時，算法設(shè)計工具日漸成熟，如今將FPGA集成到常用的深度學(xué)習(xí)框架已成為可能。未來，FPGA將有效地適應(yīng)深度學(xué)習(xí)的發(fā)展趨勢，從架構(gòu)上確保相關(guān)應(yīng)用和研究能夠自由實現(xiàn)。