本地部署ai模型前确认你是否真的需要，或者只是体验。
本地部署一般两种方式
第一种就是模型官方提供的本地安装脚本。
第二种就是第三方集成框架，例如Ollama
可以有第三种，自己编写部署。
如何部署B站上有很多教程，大家可以自行参看。
你需要哪些硬件，这个很关键
根据模型参数的规模，所需要的硬件也是不一样的。
一般的个人电脑不太可能部署高参数的模型，确实非常吃硬件。
如果你在网站利用官方的全量模型都觉得他“傻傻”的，那么降参部署到本地后大概率你会觉的更离谱。
原因就是他的脑袋确实缺了很多“弦儿”，这就是指的xxB（十亿单位）的参数规模。
个人认为：
如果你只是用到它莫一方面的能力，并且可以训练它朝你需要的方向更近一步。
那么你可以，并且应该自己有一个本地部署的ai大模型。
个性化ai模型这在未来绝对是你生产力的强大助手。我相信未来每人都会有一个专属自己的ai模型，而在线的全量模型只是给普通人的“搜索引擎”。
家庭个人服务器的成长，会推进它的脚步。家用NAS软硬件的成长曲线能够说明一些问题，而且现在的NAS不再是简单的“存”与“取”，它正朝着个人服务器的方向迈进。
deepseek生产，仅供参看
DeepSeek 模型硬件配置需求表
| 模型参数规模 | 任务类型 | CPU 参数 | 内存 (RAM) | 硬盘 (存储) | 显卡显存 (GPU VRAM) | 备注 |
|---|---|---|---|---|---|---|
| 1B | 推理 | 4核，2.5 GHz+ | 8 GB | 10 GB SSD | 4 GB | 适用于轻量级任务 |
| 1B | 训练 | 8核，3.0 GHz+ | 16 GB | 50 GB SSD | 8 GB | 需要更多内存和显存 |
| 7B | 推理 | 8核，3.0 GHz+ | 16 GB | 50 GB SSD | 8 GB | 适用于中等复杂度任务 |
| 7B | 训练 | 16核，3.5 GHz+ | 32 GB | 200 GB SSD | 16 GB | 需要高性能 CPU 和大显存 |
| 13B | 推理 | 16核，3.5 GHz+ | 32 GB | 100 GB SSD | 16 GB | 适用于高复杂度任务 |
| 13B | 训练 | 32核，4.0 GHz+ | 64 GB | 500 GB SSD | 24 GB | 需要顶级单 GPU 或多 GPU |
| 30B | 推理 | 32核，4.0 GHz+ | 64 GB | 200 GB SSD | 24 GB | 适用于超大规模模型推理 |
| 30B | 训练 | 64核，4.5 GHz+ | 128 GB | 1 TB NVMe | 48 GB (多 GPU) | 需要多 GPU 并行训练 |
| 70B | 推理 | 64核，4.5 GHz+ | 128 GB | 500 GB NVMe | 48 GB (多 GPU) | 需要多 GPU 并行推理 |
| 70B | 训练 | 128核，5.0 GHz+ | 256 GB+ | 2 TB NVMe | 80 GB (多 GPU) | 需要分布式训练框架 |
| 175B | 推理 | 128核，5.0 GHz+ | 256 GB+ | 1 TB NVMe | 80 GB (多 GPU) | 需要多 GPU 并行推理 |
| 175B | 训练 | 256核，5.0 GHz+ | 512 GB+ | 5 TB NVMe | 160 GB (多 GPU) | 需要大规模分布式训练 |
示例硬件配置：
-
1B 模型推理：
-
CPU：Intel i5 或 AMD Ryzen 5
-
内存：8 GB
-
显卡：NVIDIA GTX 1650 (4 GB)
-
硬盘：256 GB SSD
-
-
7B 模型训练：
-
CPU：AMD Ryzen 9 或 Intel i9
-
内存：32 GB
-
显卡：NVIDIA RTX 3090 (24 GB)
-
硬盘：1 TB NVMe SSD
-
-
175B 模型训练：
-
CPU：AMD EPYC 或 Intel Xeon
-
内存：512 GB
-
显卡：4x NVIDIA A100 (80 GB)
-
硬盘：5 TB NVMe SSD
-
本人非专业人士，欢迎谈论指正！
