如何在PC上搭建人工智能实验室

设立一个 在您自己的电脑上搭建人工智能实验室 它已经从极客的梦想变成了几乎所有拥有现代电脑的人都能轻松实现的现实。如今，你无需服务器集群或每月订阅费用就能使用 ChatGPT、Gemini 或 DeepSeek 等模型：你可以在家里离线运行它们，数据安全地存储在硬盘上。

在本文中，我们将看到 如何将你的电脑变成本地人工智能实验室本书涵盖硬件要求、最佳应用（LM Studio、Ollama、AnythingLLM、GPT4All、Jan、llama.cpp、NextChat、Llamafile 等）以及更高级的解决方案，例如使用 EXO 创建家庭集群或使用 HART 生成高质量镜像。所有内容均以清晰易懂的语言，并结合台式机或笔记本电脑的实际情况，逐步进行讲解。

基于PC的AI实验室的基本要求

在你陷入安装人工智能模型的泥潭之前，请先了解一下这些模型。值得检查一下你的电脑是否满足合理的最低配置要求。虽然很多机型都经过了压缩和优化，但它们对内存和存储空间的要求仍然很高，而且如果拥有性能不错的CPU，以及一块不错的GPU，性能都会得到极大的提升。

还必须理解的是，许多原始的大型模型（例如一些具有数千亿个参数的模型）很容易超过…… 容量为 400 GB，需要超过 1 TB 的显存 要以全性能运行，这完全超出了普通家用电脑的性能范围。幸运的是，有一些精简版和量化版可以大幅降低这些要求。

macOS 版 LM Studio 的要求

LM Studio 是最简便的方法之一 使用图形界面在本地测试语言模型然而，并非所有电脑都与 macOS 兼容。事实上，macOS 的支持显然更侧重于搭载 Apple Silicon 芯片的 Mac 电脑。

• 处理器建议使用搭载 Apple Silicon M1、M2、M3 或 M4 处理器的电脑。搭载 Intel 处理器的 Mac 电脑并非当前版本 LM Studio 的最佳选择。
• OS您需要 macOS 13.4 或更高版本。
• 内存和存储理想情况下，为了保证系统稳定运行，您应该配备 16 GB 的内存，并为各种模型预留 10 到 30 GB 的固态硬盘存储空间。根据您要安装的模型数量和大小，这个空间可能会大幅增加。
• 专用GPU无需独立显卡；苹果自研芯片已经集成了功能强大的GPU，足以胜任这些任务。

Windows 版 LM Studio 的要求

在 Windows 系统上，LM Studio 的运行效果非常好。 相对较新的 64 位系统前提是 CPU 支持某些加速计算所必需的高级指令。

• 中央处理器：支持 AVX2 指令集的 64 位处理器。
• 内存建议使用 16GB 内存以保证 7-8GB 内存机型的流畅运行。虽然 8GB 内存也能运行内存较小的机型（3-4GB），但启动时间会更长，并且存在一些功能限制。
• GPU虽然并非强制要求，但拥有一块具有足够显存的显卡可以大大加快文本生成速度。
• 存储每个模型占用的空间从大约 2 GB 到超过 20 GB 不等，具体取决于模型大小和量化程度。为了提供多个模型， 建议至少预留 20 GB 的空间。 只为他们。

Linux 系统下 LM Studio 的要求

您也可以设置您的Linux系统。 与LM Studio合作的本地人工智能实验室前提是发行版和硬件兼容。通常情况下，为了方便安装，这里会以 AppImage 格式分发。

• 分配AppImage软件包适用于x64架构，并且在Ubuntu 20.04及更高版本等发行版上运行良好。如果您的处理器不支持AVX2指令集，则体验会受到限制，并且模型运行速度会较慢。
• 记忆和空间其要求与 Windows 的要求相同：建议中型机型使用 16 GB 内存，如果要运行多个机型，则需要大约 20 GB 的 SSD。
• 执行权限在某些发行版中，您需要将 AppImage 标记为可执行文件，并允许其集成到系统中。

在您的计算机上安装并启动 LM Studio

LM Studio 因其提供的产品而脱颖而出。 用于搜索、下载和运行模型的统一界面 无需使用繁琐的命令行操作。安装过程非常简单，尤其是在 Windows 系统上，因为它是以经典安装程序的形式分发的。

在 Windows 上下载并安装

要在 Windows 上获取 LM Studio，只需前往…… 访问他们的官方网站，选择适合您系统的安装程序。该文件通常约为 500 MB（例如，在提到的版本中约为 516 MB），并且将下载一个常规的 .exe 文件。

打开安装程序后，您可以选择是否安装。 仅限您个人用户，还是仅限团队所有用户接下来，选择目标文件夹。程序会提示您安装大约需要 1,7 GB 的空间。确认后，点击“安装”并等待安装完成。

最后，建议保留选中的选项。 “运行 LM Studio” 然后点击“完成”。程序将自动打开，您将看到其全屏主界面，即可使用。

第一步：改变语言并了解界面

第一次打开LM Studio时， 你会发现它默认是英文的。将其更改为西班牙语很简单：右下角有一个齿轮图标，点击即可打开设置面板。

进入后，选项菜单组织得井井有条，位于中央一栏，分为不同的部分。你只需要…… 向下滚动直到找到“语言”部分点击选择器，选择“西班牙语（测试版）”，这样，整个界面就会适应我们的语言。

关闭选项窗口后，您将返回主屏幕。请查看左侧边栏，其中会显示以下内容： 四个彩色图标分别代表该项目的关键领域。:

• 黄色消息——“聊天”在这里你可以与模型进行对话，但前提是你必须先下载并上传它们。
• 绿色窗口 – “开发商”允许您设置与 OpenAI API 兼容的本地服务器，查看端点并从外部应用程序使用它。
• 红色文件夹——“我的模型”：充当存储位置，显示您在 LM Studio 中下载的所有模型。
• 紫色放大镜——“发现”是集成模型的搜索引擎，您可以在这里探索和选择要下载并在您的电脑上运行的 AI。

在 LM Studio 中浏览和选择模型

通过紫色放大镜图标访问的“发现”部分才是真正的“发现”部分。 可用开源人工智能模型目录在这里，您可以找到非常受欢迎的模型，并可以选择按下载次数、“点赞”或更新日期进行排序。

其中 家庭 常见的声卡包括 Qwen3、Lfm2、Ernie 4.5、Gemma 3n、Mistral、DeepSeek、Phi 4、Granite、Gemma 2、Codestral 等等。每款声卡都包含基本规格和下载选项，通常还有不同尺寸和量化级别的版本，以适配您的硬件。

以下是一些最有趣的选项：

• OpenAI gpt-oss 20B这是 ChatGPT 创建者开发的开源模型，采用 Apache 2.0 许可。它专注于指令执行和推理，并能够调整计算量。实际上，它是一款 与 ChatGPT 体验相符的“本地化”替代方案可以根据您的计算机，以 GGUF 或 MLX 等格式运行。
• DeepSeek R1 Distill Qwen 7B：基于 Qwen 7B 的 DeepSeek 推理模型的提炼。它提供了一种 性能与需求之间存在着密切的关系它支持 Q4-Q6 量化和长上下文。如果您有 16 GB 内存，它是一个不错的选择。
• 杰玛 3n E4B这是一个受 Gemini 启发而开发的开源版本，已为 LM Studio 准备好了 GGUF 构建。它是一个多模态模型，能够在以下环境中运行： 个人电脑、手机、平板电脑和笔记本电脑支持最多 32.000 个标记的上下文。
• Qwen 3B 和 4B 思维针对资源较少的计算机优化的版本。它们的“思考型”版本旨在提供 开发出的反应需要相对较低的内存消耗典型的上下文约为 8.000 个令牌，非常适合长时间对话，而不会对硬件造成太大压力。
• Magistral Small 2509这是一个基于 Mistral AI 的轻量级模型，针对低功耗设备上的指令理解和一般推理进行了微调。它拥有大约 2,5 亿个参数，这意味着 高速运行和更低的内存需求从 8 GB 起就能流畅运行，适用于写作、摘要和技术支持。
• 米斯特拉尔7BMistral AI 的旗舰模型，以其在西班牙语中的表现和良好的成绩而闻名 逻辑和数学任务它针对 LM Studio 进行了精细调整的 GGUF 构建，上下文窗口最多可达 32.000 个令牌。
• 披4微软的紧凑型模型侧重于 清晰、简洁、自然的答案它拥有约1,7亿个参数，占用空间小，几乎可以在任何现代PC上运行。它尤其适用于简短的指令、快速问答和短文本。

如何从LM Studio下载模型

一旦你明确了自己感兴趣的型号，只需…… 在“发现”版块中点击其个人资料。将打开详细视图，其中右侧显示关键信息，该区域底部有一个绿色的“下载”按钮，显示文件大小（以 GB 为单位）。

当你按下“下载”按钮时，LM Studio 会启动它自己的程序。 内部下载管理器您可以在这里查看进度、速度和预计时间。您无需进行任何特殊操作：完成后，模型将出现在您的“我的模型”列表中，您可以继续进行配置和上传阶段。

配置并加载聊天中使用的模型

下载完成后，请转到左侧栏并进入该部分。 “聊天”（黄色图标）在中央面板中，您会看到一个类似“选择要加载的模型”的选项，旁边是一个包含可用模型的下拉菜单。

当你选择一个（例如，DeepSeek R1 0528 Qwen 3 8B）时，将会出现一个提示。 面板 提供多种预运行配置选项。这些选项包括：

• 模型文件这样您可以选择模型的确切文件，如果您有多个模型版本，这将非常有用。如果您只有一个模型，则可以保持默认设置。
• 上下文长度这定义了人工智能在对话或任务期间可以“记住”多少个词元。增加这个值可以提高长期一致性，但是 增加内存和显存消耗对于配备 8-12 GB 内存/显存的系统，最好不要过度使用，以免出现错误或性能下降。
• GPU 上的加载此设置允许您决定由 GPU 处理多少层模型。更高的 GPU 负载可以加快渲染速度，尤其是在处理 7B-20B 及更高层数的模型时，但代价是会占用更多显存。如果超过限制，性能会急剧下降，因此最好逐步调整。

对于 DeepSeek R1 0528 Qwen 3 8B 这款专为家庭使用而高度优化的型号，通常建议从以下方式开始： 包含 8-16K 个代币的上下文虽然它支持高达 128K 的分辨率，但在标准硬件上，将分辨率保持在 16-32K 范围内可以获得最佳的质量/速度比。关于 GPU 负载，建议从中等值（例如 36 分中的 20 分）开始测试，并在此基础上进行调整。

一切设置妥当后，点击 “加载模型”LM Studio 将执行初始化工作，完成后，它将打开聊天窗口，供您输入内容。

像使用其他人工智能一样使用本地聊天机器人。

模型加载完毕后，聊天界面看起来与……非常相似。 类似 ChatGPT、Gemini 或 DeepSeek 的云服务您可以提交问题、写作作业、摘要、编程练习等，并实时收到生成的答案。

对于某些推理模型，例如 DeepSeek R1 的变体，您甚至可以观察到如何 他们揭示了他们内心的“思考过程”。 在得出最终答案之前。例如，如果你让他们讲述一个历史事件（例如二战期间广岛发生的事情），他们可以分解步骤：确定年份，将解释分为几个阶段（之前、期间和之后），决定是否加入轶事，选择一种既提供信息又具有反思性的语气等等。

此推理过程可能需要几秒钟（例如，在家用电脑上可能需要 30 秒以上），之后您才能看到最终文本。消息末尾，LM Studio 通常会显示 诸如每秒生成的令牌数量和令牌总数等指标这有助于您评估该型号和配置是否适合您的设备。

其他适用于您PC AI实验室的关键工具

LM Studio 只是拼图中的一块。要组装一个 一个真正全面的人工智能实验室 在你的电脑上，了解一些满足不同需求的工具很有用：命令行、本地服务器、文档聊天、与外部服务的集成等等。

Ollama：可在 Windows、macOS 和 Linux 终端上运行的模型

Ollama 是一个开源项目，它允许你 直接从命令行下载并运行 LLM 模型它可在 Windows、macOS 和 GNU/Linux 上运行，只需运行一个命令即可安装，再运行另一个命令即可运行模型。

例如，在 Linux 系统中，您可以通过打开终端并运行以下命令来安装它：

curl -fsSL https://ollama.com/install.sh | sh

安装完成后，要运行优化的 DeepSeek 衍生模型，只需：

ollama run deepseek-r1:1.5b

奥拉玛负责 自动下载模型并投入运行在他们的官方网站 (https://ollama.com/search) 上，您可以找到一个包含许多其他型号以及启动它们所需命令的目录。您会看到从轻量级版本到更大型版本（例如需要至少 30 GB 显存的 deepseek-r1:32b）的各种选择。

AnythingLLM：一款用于与文档和代理进行聊天的一体化工具

AnythingLLM 是一个面向希望……的开源程序 本地处理文档、人工智能代理和复杂任务它允许你与自己的文件进行对话，运行自动化代理，而且，如果你的电脑性能不足，它甚至还提供基于云的订阅选项。

它的架构结合了多个相互协作的组件，除了在本地处理开放模型外，它还能够： 连接到 OpenAI、Azure 等私有服务该工具注重隐私和个性化，提供多种控制选项，可根据您的需求调整工具的行为。

GPT4All：一款桌面应用程序中包含数百个模型

GPT4All 是另一个专为……设计的开源解决方案。 轻松在电脑上安装和使用LLM模型它可以同时利用 CPU 和 GPU，并提供对庞大目录的访问，其中包含多达 1.000 种不同的开源模型，包括 DeepSeek R1、LLaMa、Mistral、Nous-Hermes 等。

虽然它有付费版本，但也有…… 免费版，代币数量有限 通常足以满足日常个人使用需求。它适用于 Windows（包括 ARM 版本）、macOS 和 Ubuntu 系统，并拥有相当友好的用户界面。

一月：本地人工智能，支持扩展功能和多GPU支持

Jan 是一个面向那些想要……的开源程序 集中本地模型和云服务它可以与 Llama、Gemma、Mistral 等系列软件配合使用，同时，如果需要，还可以连接到 OpenAI 或 Anthropic 等外部 API。

它的一大优点是 它有一个扩展系统 它支持自定义和扩展功能，并提供 Windows、macOS 和 Linux 版本，同时支持多种 GPU 技术：NVIDIA (CUDA)、AMD (Vulkan) 和 Intel Arc。所有这些都集成在一个轻巧简洁的界面中。

llama.cpp：LLaMa 模型及其衍生模型的技术基础

llama.cpp 是一个较低级别的文件，但它是 许多本地人工智能项目的基石这是一个 C/C++ 实现，旨在运行基于 Meta 的 LLaMa 模型，并充分利用 CPU 和 GPU。

它虽然不是最适合新手的选择，但它的高效性和庞大的用户群体使其成为…… 许多其他工具（例如 Llamafile 或一些图形化前端）都是基于它构建的。如果你对技术细节感兴趣，这简直是一本必备的参考书。

NextChat 和 Llamafile：掌控您的数据和套餐模式

NextChat是一款网页和桌面应用程序， 按照您的意愿重现 ChatGPT 体验它直接连接到外部服务（Google、OpenAI、Claude 等），但将信息存储在您的浏览器或计算机本地。

它包含一个类似于自定义 GPT 的“掩码”系统，该系统允许 定义具有特定上下文和配置的助手它可在 Windows、macOS 和 GNU/Linux 上运行，并在商业 API 的基础上提供了一层额外的自定义功能。

Llamafile 本身是一个由 Mozilla Builders 提供支持的项目， 将人工智能模型转换为单个可执行文件将 llama.cpp 与 Cosmopolitan Libc 结合，即可获得可在 Windows、Linux、macOS 和 BSD 上运行的可移植二进制文件，而无需复杂的安装。

更进一步：家庭人工智能集群、高级成像和其他应用

如果一台电脑不够用，或者你想尝试强大的视觉模型，你也可以 通过更高级的项目扩展您的本地人工智能实验室例如 EXO、HART 或 Alpaca。

EXO：利用多个家用设备创建一个人工智能集群

EXO（由 Exo Labs 开发）是一款开源软件，可用于设置…… 使用普通设备的家庭人工智能集群 （包括PC、Mac、平板电脑、树莓派等）连接到同一网络。其目的是通过P2P连接共享它们的计算资源和显存。

在Linux系统中，典型的流程是：

git clone https://github.com/exo-explore/exo.git
cd exo
pip install -e .

然后，在网络上的每台设备上运行：

exo

系统 它能自动检测连接的设备并分配负载。您可以通过浏览器访问 ChatGPT 类型的界面。 http://localhost:52415选择您想要的模型，并开始与之互动，充分利用所有团队的综合资源。

HART：人工智能驱动的高效图像生成

如果你想建立你的人工智能实验室 不要局限于文字；也要制作高质量的图片。HART 项目（基于混合自回归变换器的高效视觉生成）是一个非常有趣的选择。

HART 使用 混合标记器 它能够渲染图像，并可在质量、速度和资源消耗之间取得良好的平衡，从而生成高分辨率 (1024x1024) 内容。其设计目标是在保证效率的前提下，达到与资源密集型广播模型相媲美的效果。

Su 安装过程比想象中要复杂一些。 技术工作一般来说，Linux 系统中的步骤如下：

• 克隆存储库并创建一个 conconda 环境（例如，使用 Python 3.10）。
• 如果您使用的是NVIDIA显卡，请安装CUDA。 加速 GPU 生成.
• 以可编辑模式安装 HART 并编译内核。
• 从 Hugging Face 下载必要的模板（例如，Qwen2-VL-1.5B-Instruct 和 hart-0.7b-1024px）。

配置完成后，即可启动 带有 HART 的图形界面 使用类似这样的命令：

python app.py --model_path /ruta/al/modelo --text_model_path /ruta/a/Qwen2

或者直接从终端生成图像：

python sample.py --model_path /ruta/al/modelo \
--text_model_path /ruta/a/Qwen2 \
--prompt "DESCRIPCIÓN DE LA IMAGEN" \
--sample_folder_dir /ruta/para/guardar/imagenes \
--shield_model_path /ruta/a/ShieldGemma2B

例如，你可以要求类似这样的事情： “一只小猫和一只小狗在阳光明媚的公园里玩耍，周围是五彩缤纷的花朵和湛蓝的天空。” 并将结果保存到输出文件夹中，完全控制整个过程和所使用的资源。

羊驼：一款关于羊驼的简单图形应用程序

另一种在本地运行 LLM 的非常实用的方法是使用 Alpaca，这是一个开源应用程序， 它依靠 Ollama 来管理模型。它的目标是在 Linux 设备上提供私密且简单的聊天体验。

其最显着的功能包括：

• 在同一对话中与多个人工智能模型进行交互。
• 在应用程序内部管理模型的下载和删除。
• 识别图像（如果模型支持）。
• 处理纯文本文件和PDF文件。
• 导入和导出聊天记录。
• 将 YouTube 视频文字稿和网页内容整合到对话中。

它可以通过 Flathub 轻松安装：

flatpak install flathub com.jeffser.Alpaca

然后使用以下命令启动它：

flatpak run com.jeffser.Alpaca

所有处理工作已完成 在您自己的设备上，无需依赖云服务这有助于保护隐私。

超越个人电脑：虚拟实验室和科学应用

“人工智能实验室”的概念并不局限于个人电脑使用，其他领域也正在涌现。 基于多个人工智能代理的虚拟实验室 他们通力合作，共同探索和发现新的科学知识。

最近的一个例子是斯坦福大学一个团队的工作，他们开发了一种 能够协调各种专业模型的虚拟人工智能实验室 （在免疫学、计算生物学、机器学习等领域）在虚拟“首席研究员”的指导下。

该系统已展现出其在设计方面的潜力。 92种抗SARS-CoV-2的纳米抗体对原始变种的有效率超过90%，有些甚至能够攻击后续变种。与传统的物理实验室研究相比，这些虚拟方法显著加快了试错周期。

此外，这些实验室还包括 基于人工智能的“科学评论家” 该机构负责审核和修正结果，以减少误差并提高可靠性。即便如此，研究仍然强调，人类科学家在监测、验证和阐释研究结果方面仍然发挥着不可或缺的作用。

同样的理念也可以应用于其他领域： 新材料设计、气候变化建模、能源技术开发变革潜力巨大，但在透明度、伦理、可及性和基础设施投资方面也面临着严峻挑战。

与此同时，许多企业实验室和私人研究中心也在不断探索这些技术，并将它们结合起来。 多智能体架构、生成式人工智能、深度学习和进化人工智能 构建推动经济和社会进步的复杂决策系统。

综上所述，很明显： 人工智能不再是科技巨头或远程超级计算机的专属领域。借助合适的工具，您可以在电脑上搭建一个小型个人实验室，运行文本和图像模型，处理您自己的文档，创建专用代理，甚至整合家中多台设备的强大功能。关键在于选择合适的应用程序（例如 LM Studio、Ollama、AnythingLLM、GPT4All、Jan、llama.cpp、NextChat、Llamafile、EXO、HART、Alpaca 等），了解硬件的限制，最重要的是，大胆尝试，找到最适合您需求的组合。