如何使用 Raspberry Pi 4 创建您自己的 AI 聊天机器人服务器
我们之前已经展示了您可以在 Raspberry Pi 上运行 ChatGPT,但要注意的是 Pi 只是提供客户端,然后将您的所有提示发送到云中其他人强大的服务器。但是,可以创建类似的 AI 聊天机器人体验,在 8GB Raspberry Pi 上本地运行,并使用与 Facebook 和其他服务上的 AI 相同的 LLaMA 语言模型。
这个项目的核心是Georgi Gerganov 的 llama.cpp。一个晚上写的,这个C/C++模型对于一般使用来说已经够快了,而且安装也很容易。它可以在 Mac 和 Linux 机器上运行,在这篇文章中,我将调整 Gerganov 的安装过程,以便模型可以在Raspberry Pi 4上运行。如果你想要一个更快的聊天机器人并且有一台配备 RTX 3000 系列的计算机或更快的 GPU,请查看我们关于如何在您的 PC 上运行类似 ChatGPT 的机器人的文章。
管理期望
在你开始这个项目之前,我需要管理你的期望。Raspberry Pi 4 上的 LLaMA 运行缓慢。加载聊天提示可能需要几分钟时间,而对问题的回答也可能需要同样长的时间。如果您追求速度,请使用 Linux 台式机/笔记本电脑。这更像是一个有趣的项目,而不是一个关键任务用例。
16GB 或更大的格式化为 NTFS 的 USB 驱动器
使用 Linux PC 设置 LLaMA 7B 模型
该过程的第一部分是在 Linux PC 上设置 llama.cpp,下载 LLaMA 7B 模型,转换它们,然后将它们复制到 USB 驱动器。我们需要 Linux PC 的额外功能来转换模型,因为 Raspberry Pi 中的 8GB RAM 是不够的。
免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。