快科技3月4日消息，Intel已經將NPU加速庫開源並放上GitHub，使得基於酷睿Ultra處理器的AI PC可以運行TinyLlama、Gemma-2b之類的輕量級大語言模型。
酷睿Ultra首次引入了NPU AI引擎，可以執行一些輕負載的AI推理任務，並與CPU、GPU搭配處理各種AI工作。
這次開源的NPU加速庫，當然是面向開發人員的，但如果你有一定的編程經驗，也可以拿來體驗體驗。
Intel軟體架構師Tony Mongkolsmai展示了利用此開源的NPU加速庫，在一台微星尊爵14 AI Evo筆記本上，基於11億參數的TinyLlma大模型，運行了一個AI聊天機器人，可以進行簡單對話。
同時，Windows任務管理器顯示，NPU確實被調動起來了。
不過，開源NPU加速庫目前的功能還很殘缺，支持了8比特量化、FP16精度，但還不支持4比特量化、BF16精度、NPU/GPU混合計算等等，技術文檔也沒有。
Intel承諾，後續會逐漸增加更多功能，比現在要多一倍。
來源：快科技
