來源:IT之家
在目前正在進行的黃仁勛 2024 臺北電腦展主題演講上,黃仁勛介紹生成式人工智能將推動軟件全棧重塑,展示其 NIM(Nvidia Inference Microservices)云原生微服務(wù)。
英偉達認為 "AI 工廠 " 將掀起一場新產(chǎn)業(yè)革命:以微軟開創(chuàng)的軟件行業(yè)為例,黃仁勛認為生成式人工智能將推動其全棧重塑。
為方便各種規(guī)模的企業(yè)部署 AI 服務(wù),英偉達今年 3 月推出了 NIM(Nvidia Inference Microservices)云原生微服務(wù)。
NIM 是一套經(jīng)過優(yōu)化的云原生微服務(wù),旨在縮短上市時間,并簡化生成式 AI 模型在云、數(shù)據(jù)中心和 GPU 加速工作站的任何位置的部署。它使用行業(yè)標準 API,抽象化 AI 模型開發(fā)和生產(chǎn)包裝的復雜性,從而擴展開發(fā)者池。
IT 之家注意到,官方制作了一個 llama3 大模型的 NIM 容器,現(xiàn)已上線英偉達官網(wǎng),開放供全部用戶下載并任意部署。
▲ 英偉達官網(wǎng)