Zoho与NVIDIA合作开发AI驱动的SaaS应用程序

ZohoCorporation宣布计划利用 NVIDIA AI 加速计算平台(包括作为 NVIDIA AI Enterprise 软件一部分的 NVIDIA NeMo)在其软件即服务 (SaaS) 应用程序中开发和部署大型语言模型 (LLM)。

这些模型将通过 ManageEngine 和 Zoho.com 供全球 70 多万客户使用。在过去一年中，Zoho 已在 NVIDIA 的 AI 技术和 GPU 上投资了超过 1000 万美元，并计划在明年再投资 1000 万美元。这一消息是在孟买举行的 NVIDIA AI 峰会上宣布的。

关注用户隐私和全面的人工智能方法

Zoho 非常重视用户隐私，其模型从一开始就设计为符合隐私法规，而不是事后进行改造。该公司旨在通过充分利用 NVIDIA AI 软件和加速计算的全部功能来帮助企业实现快速投资回报 (ROI)，从而提高吞吐量并减少延迟。

Zoho 在 AI 技术方面拥有十多年的经验，已将 AI 功能集成到其 ManageEngine 和 Zoho 部门的 100 多种产品中。该公司的方法是多模式的，专注于情境智能，以帮助用户做出明智的业务决策。

与标准 LLM 不同，Zoho 还在开发窄带、小型和中型语言模型，以便根据不同的数据大小和用例提供定制解决方案。值得注意的是，这些 LLM 不会使用客户数据进行训练，从而确保隐私仍然是 Zoho 人工智能战略的一个基本方面。

与 NVIDIA 合作

通过此次合作，Zoho 将利用 NVIDIA Hopper GPU 在 NVIDIA 计算平台上加速其 LLM。该公司将利用 NVIDIA NeMo 平台开发定制生成式 AI，包括大型语言模型 (LLM)、多模态 AI 以及视觉和语音功能。

此外，Zoho 正在测试 NVIDIA TensorRT-LLM，以增强其 LLM 的部署能力，与之前使用的开源框架相比，吞吐量提高了 60%，延迟降低了 35%。该公司还在 NVIDIA 的加速计算基础设施上优化语音转文本等其他工作负载。