NVIDIA 正在为数百万台由其全新 RTX GPU 提供支持的 Windows 11 电脑 带来人工智能工作负载的巨大加速。
借助适用于 RTX GPU 的 TensorRT-LLM,超过 1 亿台 Windows 电脑 将受益于 NVIDIA 加速的 AI 性能
继之前的公告之后,NVIDIA 今年透露,TensorRT-LLM 正在添加到 Windows 11 中,并将在 11 月 21 日在全新驱动程序套件中发布时为超过 1 亿 RTX 用户启用。这一消息是在 Microsoft 的 Ignite 大会上官宣的,这是壹个讨论人工智能的未来以及随着大家的发展它将怎么改变 Windows 生态系统的重要活动主题。
TensorRT-LLM 为 RTX 40 与 RTX 30 GPU 全部者提高 AI 能力
今日,NVIDIA 确认 TensorRT-LLM AI 加速将适用于全部具有超过 8 GB VRAM 的 RTX 台式机与笔记本PC。除了 TensorRT-LLM 之外,NVIDIA 与 Microsoft 还带来了 DirectML 增强功能,以推动稳定扩散与 Llama 2 等流行的 AI 模型。
拥有支持 TensorRT-LLM 的 NVIDIA RTX GPU 意味着您可以在本地运用全部数据与项目,而不是将它们保存在云中。这将节省时间并提供更精确的结果。RAG 或检索增强生成是通过运用本地化库来最快地获取 AI 结果的技术之一,该库可以填充您希望 LLM 故事的数据集,然后利用该 LLM 的语言理解功能为您提供准确的结果结果。