• Tesla P40千元级大显卡主机装机实践


    随着chatglm2-6b,llama-7b等模型的开源,早就想要在消费级显卡,独立体验一下部署模型的感觉,尽管在一些商用云平台上部署实践过,总是觉得缺少点什么,而且它们是按小时收费。 尤其是阿里的通义千问7B开源,是时候装一个属于自己的AI主机了。

    经过多方资料检索,在B站看到有网友早在之前已经进行了实践,因此照着他们给的教程,自己组装一台低成本的AI玩具电脑,用来安装体验大模型。特别感谢up主: 龟骑士09-组装一台自己的千元级GPU炼丹主机,盖伦TA哥-踩坑tesla m40显卡,作为电脑小白给其他小白一点提醒,赏花赏月赏Up主-使用tesla计算卡P40搭建chatglm本地问答库提供的教程。本着开源的精神,我也将我实践的过程,以及可能遇到的坑,记录下来,帮助需要的朋友少走弯路。此外,特别感谢咸鱼雷电工作室电脑专家对我的技术指导,很朴实的老哥!

    本人软件开发,但是没有接触过硬件,之前也没有装过机,这次属于是第一次装机。第一次装机,可以先看看装机教程,b站上面有很多,推荐至少需要完整仔细的看一遍装机的整个流程

    配件清单

    我采用的配置,完全基于up主-龟骑士所提供的清单而来,结合up主-盖伦TA哥视频内容,购买华南主板的时候,一定要先咨询下客服,是否支持above 4g decoding选项,我就遇到过一个商家明确回复不支持的。换一个商家就行了,提前问好,免得反复折腾。

    我的电脑装于9月初,价格可能会有所浮动,配件清单及价格参考如下

    配件名称规格价格备注
    华南金牌x99 AD3大板/510需要提前向商家问好bios是否支持above 4g decoding
    长城7000DS电源600W229接线是直出的,建议换成 插拔的线。 后续扩展会好点
    E5 2673 V3/65
    冰曼6热管CPU散热器170058
    三星 1066Mhz 美光 850016G * 244
    ssd固态 sata3.0240G57
    亮机卡 512M21
    EATX开放式机箱26
    Tesla P40显卡24G1008买之前问下商家,之前是否有人实践过,如果不支持,商家会告诉你的。也可以看评论,有些人会留言用于ai炼丹啥啥的。
    Tesla P40显卡散热3D涡轮风扇78

    合计花费: 2100左右

    安装注意事项

    • 开放式机箱上的孔位,与主板设计的孔位对不上,需要自己用钉子钉孔安装铜柱。我只另外钉了三个孔,还有两个孔用的机箱上的。并没有将主板的所有孔位都固定住。
    • 第一次装机,可以先把CPU,内存,显卡 安装好,其他都暂时先不装,然后先开机试一试,如果点不亮,就不用来回折腾,直接把主板退回给商家。插上电源后,没有反应不要慌,主板有个开机键。我在装机的时候,第一次没点亮,CPU开机后始终是99,主板未运行,各种折腾,害怕砸自己手里。面对一个个看不懂的电子元件,那是一种无力感,就像猿人面对现代科技的无力感,让人沮丧。 这是可以联系淘宝售后,一步步排查。最差也可以寄回去检修,千万不要闷声砸自己手里。我是折腾后,申请的售后,检修后重新给我寄了个新的过来,不知道是自己操作不当,还是它本身的质量问题;(我第一次在取CPU那个保护盖板的时候,太小心了,结果紧张反而掉了一下到CPU芯片阵脚上面,当然这个千万不要跟售后说)。
    • 主板本身有一个CPU散热器支架,冰曼散热器也带了一个支架。按照正常逻辑,应该用产品匹配的那个,因此我用了冰曼自带的支架,最终导致的结果就是散热器没安装好,CPU过热自己关机。它的现象就是,开机后能正常点亮,运行一会后主板99并断电,此时再次开机,无法正常启动bios。 过一会再次开机,可以正常进入bios,运行一会后又自动关机。(再次特别感谢咸鱼*雷电工作室电脑专家对我提供的无偿技术指导)这里有几个知识点是我万没想到的:
      • CPU散热器是必备的,没有散热器,CPU温度飙升的特别快,并且会导致主板断电;
      • 正常安装的散热器与CPU是紧密贴合的,不会松松垮垮,松松垮垮代表散热器没有正常安装;
    • bios的above 4g decoding选项,主要是用于显卡寻址,不是什么高大上的功能,好像很多主板都有。但是有个注意事项,开启了above 4g decoding后,亮机卡可能显示不了图形界面,在安装系统之前需要关闭。安装系统之后,开启above 4g,如果是windows系统,由于其有图形界面,也不能直接通过HDMI接口输出,但是linux系统依然可以直接输出。使用Tesla P40,主要使用远程主机的方案进行使用。向日葵或者内网ssh远程,我使用的后者。
    • teslaP40的双8pin转单8pin供电,可以直接通过电源自带的两个串行的Pcie6+2 Pin插进去,得到8Pin供电,问了下电源商家,满载250W是可以带动的。

    安装结果

    • 安装系统centos7+cuda11.7
    • 平时通过ssh远程连接使用
    • 配合小米智能插座+米家APP,实现远程服务器;
    • teslaP40外接的涡轮风冷散热,声音还是有点大。 安静的环境下,会觉得有点吵,但是如果在说话或者放歌的情况下,风扇的声音就会被忽略。 还是无法将其当成一个普通的家用电脑用。

    请添加图片描述

    总结

    • 装机有风险,动手需谨慎。我在装机之前,还是低估了这个事情的难度,折腾的过程比想象中要大,毕竟谁也不想自己挣的血汗钱打水漂。这里也帮雷电工作室电脑专家打个广告,有类似需求,可以咸鱼搜索他,靠谱的。
    • 我目前在上面体验了chatglm2-6b,chinese-llama2,qwen-7b-chat,whisper语音识别,modelscope语音中英语音合成,感觉还有很多有趣的东西在等着,玩点时髦的。折腾虽然辛苦,但是是值得的。后续有空了也把踩坑的经历记录下来,帮助有需要的人,共同进步。
  • 相关阅读:
    家用办公主机需要多少钱?推荐主机选购攻略!!
    FastJson远程命令执行漏洞学习笔记
    小啊呜产品读书笔记001:《邱岳的产品手记-12》第22讲 产品经理的图文基本功(上):产品文档 & 23讲产品经理的图文基本功(下):产品图例
    简简单单一段话描述设计模式
    Day04JavaWeb第四次笔记---Maven的使用
    【云原生】云原生相关技术概念总结
    31 - 认识MySQL
    Java基础 --- 线程状态 Thread States
    高性能数据访问中间件 OBProxy(三):问题排查和服务运维
    P1219 [USACO1.5] 八皇后 Checker Challenge
  • 原文地址:https://blog.csdn.net/qq_36285943/article/details/133053595