DeepSeek掘金——在CPU上运行DeepSeek-R1
在 CPU 上运行 LLM 提供了一种扩大可访问性的替代方案,允许更多用户在现有硬件上利用 AI。本指南探讨了在 CPU 上有效使用 DeepSeek R1 的方法。
随着对 AI 驱动应用程序的需求不断增长,大型语言模型 (LLM) 已成为各个领域的重要工具。然而,大多数这些模型都需要强大的 GPU 才能有效运行,这使得许多用户无法使用它们。
并不是每个人都能买得起高端 GPU,而且从长远来看,云服务的成本可能很高。在 CPU 上运行 LLM 提供了一种扩大可访问性的替代方案,允许更多用户在现有硬件上利用 AI。本指南探讨了在 CPU 上有效使用 DeepSeek R1 的方法。
1、使用 Ollama
Ollama 是一个平台,允许在本地设备(包括基于 CPU 的系统)上推断大型语言模型。要使用 Ollama 运行 DeepSeek R1,请按照以下步骤操作:
1.1 安装和设置
从其