PC Health Check
Windows 电脑健康状况检查

如何在 Android 上本地运行 LLM

您可以在 PC 上本地运行各种 LLM。但是当涉及到智能手机时,选择略有限制。你必须运行一个小型语言模型,或者有一个具有足够处理能力的高级设备来处理 LLM。 无论哪种方式,都可以在本地和离线与语言模型聊天。以下是您需要了解的有关在 Android 上本地运行 LLM 的所有信息。

如何在 Android 上本地运行 LLM

大型语言模型非常庞大,需要一些繁重的计算能力。但是,即使您的 Android 设备有足够的资源来运行 SLM(小型语言模型)和 LLM,您仍然需要一个应用程序来让您通过用户友好的界面来试验它们。

这就是像 MLC Chat 这样的应用程序派上用场的地方。使用以下步骤,使用 MLC 聊天应用程序在 Android 上本地运行 LLM。

第 1 步:安装 MLC 聊天应用程序

  1. 首先,单击上面的链接并下载 MLC Chat 应用程序的 APK。出现提示时,点击下载。
  2. 安装 MLCChat 应用。完成后,打开

第 2 步:下载 LLM

在 MLCChat 应用程序上,您将有一个可以下载的可用模型列表。点击您喜欢的模型旁边的下载链接,然后等待下载。

步骤 3:运行已安装的 LLM

下载后,点击旁边的聊天图标开始聊天。等待模型初始化。准备好后,继续并开始与 AI 聊天。

请注意,从 MLCChat 应用程序上的可用模型列表中,会有一些模型(例如 Llama3)需要大量处理能力。但是您始终可以安装模型并进行测试,看看它们是否运行得足够流畅。如果没有,请尝试较小的语言模型。

在我们的测试中(在 Nothing Phone 1 上),Gemma-2b 无法加载,而 Llama3 杀死了系统 UI。效果好的是 Llama-2 和 Phi-2。LLM 与其他小型语言模型之间的主要区别在于它们所训练的信息(参数)的广度。因此,请根据您的需求和 Android 设备的功能选择您的型号。

赞(0) 打赏
未经允许不得转载:PC Health Check » 如何在 Android 上本地运行 LLM

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏