手把手教你本地部署DeepSeek教程
为什么要本地部署DeepSeek?本地部署DeepSeek的主要原因包括以下几点:
1、数据隐私与安全:本地部署可以避免将敏感数据传输到云端,确保数据隐私和安全性。本地部署减少了网络攻击的风险,适合处理高安全性要求的任务。
2、低延迟与高性能:本地部署消除了网络传输的延迟,特别适合实时推理任务(如视频处理、实时翻译等)。本地硬件资源可以完全用于模型推理,无需与其他用户共享,从而提高性能。
3、成本控制:本地部署避免了按需付费的云服务成本,适合长期运行的场景。可以充分利用现有的硬件资源,避免资源浪费。
4、灵活性与可控性:本地部署允许完全控制模型的运行环境和配置,可以随时修改和优化模型,无需依赖外部服务。
5、服务器稳定性与依赖风险:官网服务可能因高流量或技术问题而不稳定,依赖外部平台存在服务中断的风险。本地部署可以避免这些不稳定因素,确保服务的持续性和稳定性。
6、适用场景:DeepSeek在科研、创意、金融、医疗等领域有广泛应用。例如,科研人员可以利用DeepSeek进行复杂数据处理和模型训练;作家、设计师和游戏开发者可以利用DeepSeek生成特色内容;金融和医疗行业可以确保数据本地处理,保障隐私和安全。
本地部署DeepSeek教程:
第一步:载并安装运行大模型框架
操作步骤:浏览器输入:https://ollama.com 进入官网,点击 Download 下载并安装运行大模型框架。
直接双击下载安装程序OllamaSetup.exe ,安装完成后会自动弹出DOS窗口,不用关闭。
在线下载慢或下载不了,提供百度网盘下载:
**** Hidden Message *****
第二步:安装DeepSeek-R1 模型
1. ollama官网首页,在搜索栏输入: deepseek-r1 在出现的下拉菜单点击 deepseek-r1
2. 不同模型需要不同的电脑配置,请根据自己电脑配置选择,这里选择1.5b(见最低部对应配置表)
3. 接着点击后面“复制”按钮。
4. 直接粘贴到第一步安装完成后弹出的DOS窗口。如果第一步安装完成未弹出DOS窗口或自行关闭了,那么需重新按以下方法打开。
1)Windows系统按“Win+R”快捷键 ,输入CMD打开命令符,再按ctrl+V粘贴进去,按下回车,等待下载安装完成即可。
2)Mac系统打开电脑的“终端”,按Command+V把刚刚复制的指令粘贴进去。
第三步:Web UI美化
1. 打开Edge浏览器,点击扩展,选择 获取Micosoft Edge 扩展",搜索“Page Assist"的插件获取添加。
2. 安装完成后,Windows系统按”Ctrl_Shitf+L“(MAC系统,Command+Shitf+L)就可以调出这个本地大模型的Web UI界面了。
3. 在上面的模型,左上角选择 deepseek-r1 模型,接下来就可以在这个界面问各种问题了。
不同模型对应的硬件配置要求:
1.5B 模型
CPU:4核
内存:16GB
显存:8GB(如NVIDIA GTX 1080 Ti或RTX 3060)
硬盘:20GB(用于存储模型和数据集)
备注:可以在消费级GPU上运行,适合小型任务。
78 模型
CPU:8核
内存:32GB
显存:16GB(如NVIDIA RTX3090或A100)
硬盘:50GB
备注:需要高性能GPU,适合中等规模任务。
8B 模型
CPU: 8核
内存:32GB
显存:24GB(如NVIDIA A100或RTX4090)
硬盘:60GB
备注: 显存需求较高,推荐使用专业级GPU。
14B 模型
CPU: 16核
内存:64GB
显存:48GB(如NVIDIA A100 40GB/80GB)
硬盘:100GB
备注:需要高端GPU或分布式计算资源。
32B 模型
CPU: 32核
内存: 128GB
显存:80GB(如NVIDIA A100 80GB)
硬盘:200GB
备注:需要多卡并行或分布式训练/推理。
70B 模型
CPU:64核
内存:256GB
显存:160GB(多卡并行,如4xNVIDIA A10080GB)
硬盘:500GB
备注:需要大规模分布式计算资源
671B 模型
CPU:128核
内存: 1TB+
显存:640GB+(多卡并行,如8xNVIDIAA10080GB)
硬盘:2TB+
备注: 需要超大规模分布式计算集群,通常在企业级或云环境中运行。
页:
[1]