阿里雙11大規模部署NVIDIA GPU AI效率260倍於CPU

一年一度的雙11、雙12購物狂歡都已經過去,而在蘇州舉辦的GTC CHINA 2019大會上,NVIDIA和阿里巴巴共同透露了一個小「秘密」——原來,雙11 2684億元創紀錄成交額的背後,離不開NVIDIA GPU的大規模部署。

阿里巴巴異構計算總監徐凌傑表示,每天有超過1億購物者在阿里網站上瀏覽數十億種商品,在購物高峰日,阿里的系統每秒需要處理數十萬個查詢,而能夠保證了這一切都能正常運行,正是AI 的功勞。

阿里雙11大規模部署NVIDIA GPU AI效率260倍於CPU

阿里引入了NVIDIA加速計算平台,大規模部署先進的AI技術,包括Tesla T4 GPU、cuBLAS運算庫、自定義混合精度、推理加速軟件等,通過其直觀的搜索功能和可靠的推薦,能夠支持比過去復雜6倍的模型,從而使點擊率提高10%。

據悉,相比於CPU,Tesla T4將最大模型的吞吐量提高了100倍,能夠為阿里廣泛、深入的推薦模型提供加速,每秒可處理780個查詢,而基於CPU的推理每秒只能處理3個,效率差了足足260倍。

對電商來說,推薦系統是至關重要的應用程序,可以向用戶展示與其喜好相匹配的商品,從而提高點擊率,而點擊率的每一次小幅提高,都會直接影響用戶的體驗和商家的營收。使用能夠實時大規模運行的先進推薦系統模型使點擊率提高10%,目前這只能通過GPU實現。

阿里雙11大規模部署NVIDIA GPU AI效率260倍於CPU

阿里雙11大規模部署NVIDIA GPU AI效率260倍於CPU

據介紹,阿里使用NVIDIA GPU支持資源分配、模型量化和圖變換三項優化策略,從而提高吞吐量和響應性,還部署NVIDIA GPU為各類系統提速,包括自動廣告橫幅生成、廣告推薦、幫助識別假冒產品的圖像處理、語言翻譯、語音識別等系統。

 除了阿里雲,百度、字節跳動、滴滴、快手、美團點評、平安科技、搜狗、騰訊、小米等中國科技巨頭的雲服務也都部署着NVIDIA GPU。

阿里雙11大規模部署NVIDIA GPU AI效率260倍於CPU

作者:上方文Q
來源:快科技