中國北京,2024 年 3 月 20日 — GTC — NVIDIA 宣佈領先 AI 應用開發者正在用 NVIDIA 數字人技術爲商業應用和動態遊戲角色創建栩栩如生的化身。其他展示內容包括:Chat with RTX全面更新,AI Workbench現已就緒,NIM(NVIDIA Microservices)發佈。行業專家、開發者和研究員組成的夢之隊齊聚GTC2024,共同推動 AI 和加速計算的未來發展。

在此前的GDC 2024大會上,NVIDIA發佈RTX技術全新集成:《黑神話:悟空》(Black Myth: Wukong)和《永劫無間》(NARAKA:BLADEPOINT)將支持全景光線追蹤和 NVIDIA DLSS 3.5;現已有超過 500 款遊戲和應用支持NVIDIA RTX技術;更新NVIDIA RTX SDK,以幫助開發者簡化創建遊戲世界的流程。

NVIDIA RTX AI平臺包括工具和軟件開發工具包,可幫助Windows開發人員創建領先的生成式AI功能,並令AI PC提供最佳性能支持。

什麼是AI PC

2018年,隨着RTX 技術和首款專爲 AI 打造的消費級 GPU (GeForce RTX) 的推出,NVIDIA 加速了向 AI 計算的轉變。AI PC定義:AI PC 是搭載專用AI加速硬件的計算機。在 RTX GPU 上,這些專用的 AI 加速器被稱爲 Tensor Core。在運行要求極爲嚴苛的工作和娛樂應用時,Tensor Core 能夠顯著加速 AI 性能,併爲 PC 用戶引入了以前在雲端才能運行的新功能。如何衡量AI PC 的性能:衡量 AI 性能的一種方法是以 teraops 爲單位。teraops 即“萬億次運算/秒”(TOPS)。與發動機的馬力等級類似,TOPS 可作爲單一指標讓用戶瞭解 PC 的 AI 性能。在 PC上本地運行AI應用的好處:運行在 GeForce RTX PC 系統上,因此其速度很快,同時用戶的數據保存在本地。用戶可以在本地 PC 上處理敏感數據,因此無需與第三方共享數據或連接互聯網。

爲什麼RTX是AI PC的核心

無與倫比的AI能力:這一代GeForce RTX GPU可提供的算力,涵蓋了從200 AI TOPS到1300 AI TOPS,包括筆記本電腦和臺式電腦的多樣選擇。與之相比,目前沒有獨立 GPU 的 AI PC 的算力僅爲 10 至 45 TOPS。

用戶羣和生態:2018年,隨着 RTX 技術和首款專爲 AI 打造的消費級 GPU (GeForce RTX) 的推出,NVIDIA 加速了向 AI 計算的轉變。從那時起,基於 RTX PC 的 AI 蓬勃發展,目前已成爲擁有超過 1 億用戶和 500 款 AI 應用的生態。

先進的AI應用:無論是居家還是辦公,在使用提升工作效率和娛樂體驗的軟件時,都能充分利用 RTX AI 的力量。得益於GeForce RTX GPU提供的AI特性 -- 遊戲玩家可以在更高分辨率下,以更高幀率暢玩鍾愛的遊戲;創作者則可專注於創意本身,而無需在等待系統加載或重複乏味工作上浪費時間;開發者亦可以使用生成式 AI 進行原型設計和自動化調試,從而簡化工作流。

世界級的數字人技術

NVIDIA ACE 微服務讓AI角色栩栩如生。

NVIDIA ACE 微服務可幫助開發者利用由NVIDIA Audio2Face 提供支持的面部動畫以及由NVIDIA ™ Riva自動語音識別(ASR)和文本轉語音(TTS)提供支持的語音交流,讓虛擬數字人物栩栩如生。ACE微服務非常靈活,允許模型根據本地GPU的性能在雲端和PC上運行,以確保用戶獲得最佳體驗。採用ACE的中國開發者和平臺包括 米哈遊、網易遊戲、完美世界遊戲、掌趣科技騰訊

NVIDIA RTX —RTX全局光照 (RTXGI) 和 DLSS 3.5等渲染技術的集合,可在遊戲和應用中實現實時路徑追蹤。

NVIDIA ACE爲遊戲帶來栩栩如生的NPCCovert Protocol是Inworld AI公司與NVIDIA合作開發的一項全新技術Demo,它突破了遊戲中角色互動的界限。Inworld AI 擎集成NVIDIA Riva 和NVIDIA Audio2Face,前者可實現精確的語音轉換文字,後者可提供逼真的面部表情。Inworld AI引擎採用多模態方法來展示非玩家角色(NPC),將認知、感知和行爲系統集成在一起,在精心製作的環境中呈現令人驚歎的 RTX 渲染角色,以實現身臨其境的敘事效果。

Inworld AI Covert Protocol 技術Demo

育碧 NEO NPCs 利用 Inworld 和 NVIDIA ACE 技術探索數字人在遊戲中可能性NEO NPCs 由育碧巴黎工作室的多學科團隊開發,是育碧創作者與生成式 AI 技術領先合作伙伴 NVIDIA 和 Inworld AI 密切合作的成果。Inworld 的角色引擎和 LLM 技術使育碧的敘事團隊能爲每個 NPC 建立完整的背景、知識庫和對話風格,而NVIDIA ACE 技術套件中的 NVIDIA Audio2Face 則用於實現實時面部動畫。

育碧通過三個獨立技術 Demo 展示了 NEO NPC 的功能。每個場景都側重於 NPC 行爲、環境和上下文意識的不同方面;一系列實時反應和動畫;以及連續對話、協作和戰略決策。這些實驗發現突破了遊戲設計和沉浸感的界限。

育碧的敘事團隊利用Inworld AI 技術打造出兩個 NEO NPCs:Bloom 和 Iron,他們擁有自己的背景故事、知識庫和不同的對話風格,在技術 Demo 宇宙中建立獨特的角色。

Inworld 技術還爲 NEO NPC 提供有關周圍環境的內在知識,並通過 Inworld 的 LLM 提供交互式響應。Audio2Face 爲兩個 NPC 的面部提供實時面部表情和口型同步。

育碧 NEO NPCs 技術Demo

DLSS 3.5 樹立全新遊戲標準,通過AI增強光線追蹤功能DLSS:自2019 年起,已有超過 500 款遊戲和應用利用光線追蹤、DLSS 和AI技術徹底改變人們的遊戲和創作方式。在 GDC 上,NVIDIA 宣佈兩款新遊戲將支持DLSS 3.5光線重建(Ray Reconstruction)和全景光線追蹤技術,實現畫質和性能的大幅提升,爲 GeForce 玩家帶來極致體驗。備受期待的《黑神話:悟空》(Black Myth: Wukong)將於8月20日發佈。《永劫無間》(NARAKA: BLADEPOINT)即將在PVP和PVE模式下的三個地圖中添加全景光線追蹤,之後也將在更多地圖中陸續支持全景光線追蹤。《黑神話:悟空》(Black Myth: Wukong)備受期待,在 GDC 發佈後獲得大量報道。#《黑神話:悟空》(Black Myth: Wukong)DLSS 3.5預告片# 在 嗶哩嗶哩上的搜索量排名第一。在GDC 發佈後的90分鐘內,所有平臺的瀏覽量超過 30 萬。

Chat with RTX,聽得更多,看得更多,聊得更多

Chat with RTX (或簡稱ChatRTX), 使用檢索增強生成、NVIDIA TensorRT-LLM 軟件和 NVIDIA RTX 加速,將本地生成式AI功能引入到支持 RTX 的 Windows系統中。用戶可快速、輕鬆地將本地文件作爲數據集連接到開放式大語言模型(如 Mistral 或 Llama 2),快速查詢與上下文相關的答案。除文本外,Chat with RTX 還將很快增加對語音、圖像和新模型的支持。除了谷歌的 Gemma,Chat with RTX也將在未來的更新中支持ChatGLM 。

中國領先剪輯軟件剪映率先採用RTX AI平臺加速產品功能

NVIDIA正在和國內深受用戶喜愛的剪輯軟件剪映專業版共同探索推進生成式AI在PC端的落地。目前,NVIDIA已通過TensorRT推動剪映AI藝術字功能上線,並正在通過RTX AI平臺加速生成式AI在剪映產品功能中的應用。

剪映產品經理表示:“長期以來剪映和NVIDIA一直都是非常緊密的合作伙伴,在RTX GPU的加速下剪映專業版可以實現更高的性能表現。我們期待RTX AI PC強大的性能表現以及加速優化對AI模型的處理能力能幫助剪映的用戶更高效、智能地進行創作。”

面向開發者的RTX AI 工具:推動創新的 AI 解決方案NIM 微服務--預構建的AI “容器”採用行業標準 API,包括必要的軟件組件,優化整體體驗,有助於將部署時間從數週縮短到數分鐘。NVIDIA AI Workbench--現已全面上市,可幫助開發者利用 PC 級性能和顯存佔用空間快速創建、測試和定製預訓練生成式 AI 模型和 LLM。TensorRT 加速--幫助開發者充分利用 RTX GPU中的Tensor Core的加速庫軟件。TensorRT加速現可通過TensorRT-LLM for Windows用於基於文本的應用。開發者還可訪問 OpenAI Chat API 的 TensorRT-LLM 封裝程序。

以上介紹的RTX AI工具,在 GTC 和 GDC 上發佈的諸多新聞以及展示的技術Demo,正在幫助開發者推動創新的 AI 解決方案,更讓RTX PC用戶感受到生成式 AI的未來可期。

新浪聲明:新浪網登載此文出於傳遞更多信息之目的,並不意味着贊同其觀點或證實其描述。

相關文章