一、Chat with RTX：部署在本地的聊天機器人應用
往年大學生選購筆記本主要看遊戲性能和性價比，但時代不同了，如今不會玩AI就註定無法跟上時代的節奏。對於生成式AI來說，目前主要依賴GPU進行加速，RTX 40系GPU最高可以提供686 TOPS的AI算力，輕松應對各種復雜任務，提升學習效率和工作成果！
正值開學季，NVIDIA聯合諸多遊戲本廠商在京東平台開展了盛大的促銷活動，現在購買RTX筆記本，可享限時優惠！
一鍵抵達會場：
app端： https://pro.m.jd.com/mall/active/zHqTTKaGW39jsUQ5GJz4aTmgG3A/index.html
PC端： https://pro.jd.com/mall/active/zHqTTKaGW39jsUQ5GJz4aTmgG3A/index.html
說到AI，很多人可能第一時間就會想到ChatGPT，只是ChatGPT的伺服器在雲端，或多或少存在著一些安全隱患。另外普通用戶能用的只有ChatGPT 3.5，更高級的4.0版需要每個月支付20美元（約合人民幣145元）才能使用，對於大多數用戶而言，算是一筆不菲的開銷。
有鑒於此，NVIDIA推出了“ChatwithRTX”，這是一款部署於本地的聊天機器人應用，只要你擁有一塊搭載8GB以上顯存的RTX 30/40顯卡，就可以實現本地、快速、信息定製的生成式AI。
Chat with RTX 可以在Windows RTX PC 和工作站上以本地部署的方式運行，再加上用戶的數據還是保留在本地設備裝置上，因此能夠快速提供查詢結果。與依賴雲端環境的 LLM 服務不同，Chat with RTX 讓用戶能夠在 PC 桌面端處理敏感資料，無需分享給第三方或是連接到網絡。
Chat with RTX工具支持包括.txt、.pdf、.doc/.docx和.xml在內的多種文件格式。將應用程式指向含有這些資料的文件夾，Chat with RTX 工具在幾秒鍾內就能將它們載入到資料庫中。
另外，用戶還能加入YouTube視頻和播放列表里的信息。在Chat with RTX里加入視頻網址，用戶便能將這些知識與聊天機器人進行整合，進行上下文查詢。
Chat with RTX可以在Windows RTX PC和工作站上以本地部署的方式運行，再加上用戶的數據還是保留在本地設備裝置上，因此能夠快速提供查詢結果。與依賴雲端環境的LLM服務不同的是，Chat with RTX讓用戶能夠在PC桌面端處理敏感資料，無需分享給第三方或是連接到網絡
除了Chat With RTX之外，不久前NVIDIA還對谷歌全新開放式語言模型 Gemma 進行了優化，Chat with RTX 技術演示版也即將支持 Gemma。
該Demo使用檢索增強生成(RAG)和TensorRT-LLM軟體，為用戶提供在本地WindowsRTX PC 上的生成式AI功能。
現在Chat with RTX已經開放了免費下載，只不過安裝的時候需要注意只能安裝在默認文件夾，手動變更安裝路徑會造成安裝失敗。
Chat with RTX下載地址：
來源：快科技
