在 SIGGRAPH 大会上发布的更新包括 ChatRTX 更新和 Llama 3 支持,用以增强 AI 内容创作、生产力和开发。
NVIDIA 在 SIGGRAPH 大会上重点展示了最新 NVIDIA RTX 赋能的工具和应用程序,该大会是图形与 AI 交叉领域的年度大展。
这些 AI 科技提供了先进的光线追踪和渲染技术,可在游戏、虚拟现实、动画和影视级特效中实现超写实的图形和身临其境的体验。RTX AI 个人电脑和工作站正在助力推动未来的交互式数字媒体、内容创作、生产力以及开发工作。
ACE 的 AI 魔法
在 SIGGRAPH 炉边谈话中,NVIDIA 创始人兼首席执行官黄仁勋 介绍了 “James” —— 一款基于 NVIDIA NIM 微服务构建的交互式数字人,该角色展现了AI驱动用户交互的潜力。
James 是一个使用 NVIDIA ACE 技术开发的客户服务工作流虚拟助手,可以通过表情、幽默和上下文准确的响应与人类沟通。很快用户将可以通过访问 ai.nvidia.com,与 James 进行实时互动。
NVIDIA 还介绍了用于远程呈现的 NVIDIA Maxine AI 平台的最新进展,以及正在使用 NVIDIA ACE 技术的公司。NVIDIA ACE 是一套通过 生成式 AI 让数字人栩栩如生的技术。 这些技术通过 AI 模型实现数字人类的开发,涵盖语音和翻译、视觉、智能、逼真的动画和行为,以及栩栩如生的外观。
Maxine 拥有两项可增强远程呈现场景下数字人体验的 AI 技术: Maxine 3D 和 Audio2Face-2D。
开发者可以利用 Maxine 和 ACE 技术,为用户打造更具吸引力、更自然的数字界面交互体验,适用于客户服务、游戏和其他互动场景。这些先进技术将大大提升用户体验,让数字互动更加生动有趣,仿佛与真人对话一般。
借助先进的 AI 技术,NVIDIA ACE 技术允许开发者设计能够实时响应用户的虚拟形象,具备逼真的动画、语音和情感表现。这些虚拟形象将为用户带来更加真实和互动的体验。RTX GPU 可提供必要的计算能力和图形保真度,以令人惊艳的细节和流畅性渲染 ACE 虚拟形象。
随着技术的不断进步和日益广泛的采用,ACE 正在为构建虚拟世界树立新的标杆并激发了各行各业的创新。开发人员利用基于 RTX GPU 的 ACE 技术,可以构建更加身临其境的应用程序和先进的、基于 AI 的交互式数字媒体体验。
RTX 更新为创作者带来 AI 艺术
NVIDIA GeForce RTX 个人电脑和 NVIDIA RTX 工作站正通过 GPU 加速获得升级,为用户提供增强的 AI 内容创作体验。
对于视频编辑人员来说,RTX Video HDR 现在可通过万兴科技旗下视频创意软件万兴喵影 和 DaVinci Resolve 使用。有了这项技术,用户可以将任何内容转化为高动态范围视频,在明暗场景中都能呈现更丰富的色彩和更多的细节,因此是游戏、旅行或活动视频制作的理想选择。将 RTX Video HDR 与 RTX 视频超分辨率 相结合,通过消除编码伪影和增强细节,可进一步提高视觉质量。
https://images.nvidia.cn/cn/youtube-replicates/I2ZUGB8JZKc.mp4]
RTX Video HDR 需要将 RTX GPU 连接到兼容 HDR10 的显示器或电视上。使用搭载 RTX GPU 的个人电脑用户,可以将文件导入到万兴喵影桌面端应用程序,继续通过本地 RTX 加速进行编辑,并在GeForce RTX 4070 Ti 或更强 GPU 上借助双编码器使导出速度提高一倍。进一步了解万兴喵影经 AI 赋能后的功能。流行媒体播放器 VLC 在6月新增了对 RTX 视频超分辨率和 RTX Video HDR 的支持,增加了 AI 增强视频播放功能。
如需了解更多信息,请参阅本博客中关于 RTX 赋能的视频编辑 部分以及 RTX 视频常见问题解答。进一步了解万兴喵影经 AI 赋能后的功能。
此外,3D 艺术家获得了更多简化和增强工作流的 AI 应用和工具,包括 Replikant、Adobe、Topaz 和 Getty Images 等。
Replikant 作为人工智能辅助 3D 动画平台,目前正在集成一项 ACE 技术 NVIDIA Audio2Face,以改进唇部同步和面部动画。通过利用 NVIDIA 加速生成模型,用户可以享受到由 RTX 和 NVIDIA DLSS 技术增强的实时视觉效果。Replikant 现已登陆 Steam 平台。
Adobe Substance 3D Modeler 增添了基于形状检索资产库的功能,这一由 AI 赋能的功能旨在根据即有 3D 形状来简化复杂形状的替换和增强。这项新功能大大加快了原型设计的速度,并增强了设计工作流。
Adobe Substance 3D 中的新 AI 功能集成了先进的生成式 AI 功能,增强了其纹理和材质创建工具。Adobe 首次将其 Firefly 生成式 AI 功能集成到 Substance 3D Sampler 和 Stager 中,使工业设计师、游戏开发人员和视觉效果专业人员的三维工作流更加无缝和高效。
通过文本生成纹理和提示词描述等功能,Substance 3D 用户可以生成逼真或风格化的纹理。这些纹理之后便可直接应用于 3D 模型。新的文本生成纹理和生成式背景功能显著加快了传统上耗时且复杂的 3D 纹理绘制和合成的速度。
在 NVIDIA RTX Tensor 核心的支持下,Substance 3D 能够大大加快计算速度,并可实现更直观、更具创造性的设计流程。 这项开发以 Adobe 的创新为基础,在 Substance 3D 工作流中借助 Firefly 进行了 Creative Cloud 升级。
Topaz AI 引入了 NVIDIA TensorRT 加速多 GPU 工作流,使得多 GPU 并行处理成为可能,大幅提升渲染速度——使用两块 GPU 比单块 GPU 系统快达 2 倍,并且随着 GPU 数量的增加,速度还会进一步提升。
Getty Images 更新了其 Generative AI by iStock 服务,增加了新功能以改进图像生成和质量。在 NVIDIA Edify 模型的加持下,其最新的增强功能可使生成四张图像的时间达到六秒左右,比前代模型的性能提高了一倍,速度处于行业领先水平。改进后的文本生成图像(Text-2-Image)和图像生成图像(Image-2-Image)功能提供了更高质量的结果,并且更好地符合用户的提示词要求。
Generative AI by iStock 用户现在还可以指定摄像头设置,如焦距(窄、标准或宽)和景深(近或远)等。通过改进的生成式 AI 超分辨率技术,图像质量得到了显著提升。该技术使用 AI 创建新的像素,大幅提高分辨率,同时避免过度锐化图像。
令人惊叹的 LLM AI
ChatRTX 是一种将大语言模型 (LLM) 连接到用户数据的技术演示,用于快速查询笔记、文档或图片。其目前正在进行 UI 改进,以提供更简洁、更完美的体验。
ChatRTX 还是一个开源参考项目,向开发人员展示如何通过 RTX 加速构建功能强大的本地检索增强生成 (RAG) 应用。
今天发布的最新版 ChatRTX 采用了 Electron + Material UI 框架,使开发人员可以更轻松地添加他们自己的 UI 元素或扩展新功能。这次更新还包括一个新的架构,该架构不仅简化了不同 UI 的集成,还简化了在 ChatRTX 后端应用程序编程接口基础上构建新聊天和检索增强生成 (RAG)应用的过程。
最终用户可从 ChatRTX 网页下载最新版本的 ChatRTX。开发人员可在 ChatRTX GitHub 代码库中找到新版本的源代码。
Meta Llama 3.1-8B 模型 现已针对 NVIDIA GeForce RTX PC 和 NVIDIA RTX 工作站的推理进行了优化。 这些模型由 NVIDIA TensorRT-LLM(一款可加速 LLM 推理性能的开源软件)提供原生支持。
戴尔的 AI 聊天机器人:利用 RTX Rocket Fuel
戴尔展示了企业如何利用 NVIDIA AI Workbench 和基于 Llama 3 的 NVIDIA NIM 微服务,通过优化的 检索增强生成 (RAG)聊天机器人来推动 AI 开发。借助 NVIDIA AI Workbench Hybrid RAG 项目,戴尔展示了如何利用聊天机器人与企业数据的本地向量数据库的进行对话,并以下列三种方式之一进行推理:
在本地 Hugging Face TGI 服务器上在云端使用 NVIDIA 推理端点在自托管的 NVIDIA NIM 微服务上
了解更多关于 AI Workbench Hybrid RAG 项目的信息。SIGGRAPH 与会者可在戴尔科技的301展位亲身体验这项技术。
HP AI Studio:利用 CUDA-X 和 Galileo 加速创新
惠普在 SIGGRAPH 大会上展示了集中式数据科学平台 Z by HP AI Studio。AI Studio 于2023年10月发布,目前借助最新的NVIDIA CUDA-X 资源库以及惠普最近与生成式 AI 信任层公司 Galileo 的合作得到了增强。主要优势包括:
更快地部署项目: 快速配置、连接和共享本地及远程项目。轻松协作:轻松访问和共享数据、模板和实验。自由工作:选择在何处处理数据,在在线和离线模式之间轻松切换。
AI Studio 旨在提高生产力和简化 AI 开发,让数据科学团队专注于创新。敬请莅临惠普的501展台,了解 AI Studio 如何利用 RAPIDS cuDF 来增强数据预处理,加速 AI 工作流。申请提前访问 AI Studio。
Stable Diffusion 的 RTX 速度大增
Stable Diffusion 3 是 Stability AI 的最新模型,经 TensorRT 优化后速度提高了 60%。
一项针对 Stable Diffusion 3 进行性能优化的 NIM 微服务目前可通过访问 ai.nvidia.com 进行预览。
现在还来得及 与 NVIDIA 一道参加 SIGGRAPH 大会,了解 RTX AI 如何改变内容创作和视觉媒体体验的未来。此次大会将持续到 8 月 1 日。
生成式 AI 正在给各式各样的图形和交互体验带来变革。 请订阅《解码 AI》时事通讯,我们每周都会将新鲜资讯直接投递到您的收件箱。