NVIDIA近日发布了ChatRTX 0.3版本，为人工智能对话系统带来了诸多令人兴奋的新功能。作为基于RTXGPU的本地大语言模型（LLM），NVIDIAChatRTX凭借其卓越的性能和安全的本地处理，已经成为企业和开发者的理想选择。此次0.3版本更新，进一步提升了其功能和用户体验，增加了照片搜索、AI驱动的语音识别等新特性。本文将详细介绍NVIDIAChat RTX的安装与使用方法、新增功能及其优点，并推荐几款其他本地LLM解决方案。

NVIDIAChat RTX 0.3配置要求

如何安装和使用NVIDIAChat RTX 0.3

下载地址：https://www.nvidia.com/en-us/ai-on-rtx/chatrtx/

经过漫长的下载和解压缩之后,您会看到如下图的内容:

点击setup.exe,执行安装。加下来你就会看到:

但这并不是可以随意添加模型的意思，而是可选择下载NVIDIA编译过的模型。

ChatRTX 0.3版本新功能亮点：

照片搜索：

ChatRTX0.3版本引入了强大的照片搜索功能。用户可以上传照片，利用AI进行图像识别和搜索。这一功能在社交媒体管理、电子商务、数字资产管理等领域具有广泛应用，帮助用户更快速准确地找到所需内容。

Whisper语音识别系统：

新版本新增了AI驱动的语音识别功能，能够高效地将语音转换为文本。这对需要语音输入的应用程序，如智能助手、客服系统和会议记录等，提供了极大的便利，提升了用户的互动体验。

ChatRTX快速生成相关回复

在强大的大型语言模型（LLM）支持下，ChatRTX0.3版本还新增了查询笔记和文档的功能。用户可以通过ChatRTX快速生成相关回复，并在用户设备上本地运行。这一功能的加入，将使得用户能够更加方便地管理和利用自己的笔记和文档资源，提高工作和学习效率。

由于我们下载的这个Gemma7B int4模型非常庞大，因此我们使用的显卡是映众RTX4090 D超级冰龙版，在使用过程中显存容量已经到了14.5GB。所以，显存容量低于8GB的RTX30/40系列显卡无法胜任这类大模型的运行任务。建议使用显存容量在16GB及以上的显卡来处理此类大模型，以确保流畅运行。

其他本地LLM解决方案：

Olama

Olama是另一个用干运行LLM 的工具和框架，例如yistral、Llama2、或codellama本地运行(请参阅库)。它目前仅在macOs 和Linux上运行，因此我将使用WSL。值得注意的是，LangChain和 Ollama之间存在很强的集成度。

安装Olama后，我们可以使用o1lamaserve.o11ama run $M0DEL现在，我们可以使用简单地运行应用程序和模型o1lamarun、llama2。运行命令后，我们有一个提示窗口作为我们的用户界面。

GPT4AII

Nomic的GPT4AI既是一系列模型，也是一个用于训练和部署模型的生态系统。如下所示，GPT4AI桌面应用程序很大程度上受到OpenAl的ChatGPT 的启发。

安装后，您可以从多种型号中进行选择。对于本示例，选择了Mistral0pen0rca.但是，GPT4AI支持多种模型。

LM工作室

LMStudio作为一个应用程序，在某些方面与GPT4AI 类似，但更全面。LMStudio 旨在本地运行LLM 并试验不同的模型，通常从HuggingFace存储库下载。它还具有聊天界面和兼容OpenA! 的本地服务器。在幕后，LMStudio 也严重依赖llama.cpp。

让我们尝试运行我们已建立的示例，首先，我们需要使用模型浏览器下载模型。这是一个很棒的工具，因为它直接连接到HuggingFace并负责文件管理。也就是说，模型浏览器还将显示不一定可以开箱即用的模型以及模型的许多变体。

使用上面演示的工具，我们能够在本地轻松使用此类开放模型。这不仅使我们能够在没有隐私风险的情况下利用生成式人工智能，而且还可以更轻松地尝试开放模型。其中NVIDIAChat RTX0.3版本通过引入照片搜索和AI驱动的语音识别功能，再次提升了其在本地LLM解决方案中的地位。无论是在高效处理能力、多功能集成还是数据隐私保护方面，NVIDIAChat RTX都表现出色。

除此之外，Olama、GPT4AII和LMStudio等解决方案也提供了多样化的选择，满足不同用户的需求。根据自身的硬件条件和具体需求，选择适合的本地LLM解决方案，开启智能对话新时代。