随着chatglm2-6b,llama-7b等模型的开源,早就想要在消费级显卡,独立体验一下部署大模型的感觉,尽管在一些商用云平台上部署实践过,总是觉得缺少点什么,而且它们是按小时收费。 尤其是阿里的通义千问7B开源,是时候装一个属于自己的AI主机了。
经过多方资料检索,在B站看到有网友早在之前已经进行了实践,因此照着他们给的教程,自己组装一台低成本的AI玩具电脑,用来安装体验大模型。特别感谢up主: 龟骑士09-组装一台自己的千元级GPU炼丹主机,盖伦TA哥-踩坑tesla m40显卡,作为电脑小白给其他小白一点提醒,赏花赏月赏Up主-使用tesla计算卡P40搭建chatglm本地问答库提供的教程。本着开源的精神,我也将我实践的过程,以及可能遇到的坑,记录下来,帮助需要的朋友少走弯路。此外,特别感谢咸鱼雷电工作室电脑专家对我的技术指导,很朴实的老哥!
本人软件开发,但是没有接触过硬件,之前也没有装过机,这次属于是第一次装机。第一次装机,可以先看看装机教程,b站上面有很多,推荐至少需要完整仔细的看一遍装机的整个流程。
我采用的配置,完全基于up主-龟骑士所提供的清单而来,结合up主-盖伦TA哥视频内容,购买华南主板的时候,一定要先咨询下客服,是否支持above 4g decoding选项,我就遇到过一个商家明确回复不支持的。换一个商家就行了,提前问好,免得反复折腾。
我的电脑装于9月初,价格可能会有所浮动,配件清单及价格参考如下
| 配件名称 | 规格 | 价格 | 备注 |
|---|---|---|---|
| 华南金牌x99 AD3大板 | / | 510 | 需要提前向商家问好bios是否支持above 4g decoding |
| 长城7000DS电源 | 600W | 229 | 接线是直出的,建议换成 插拔的线。 后续扩展会好点 |
| E5 2673 V3 | / | 65 | |
| 冰曼6热管CPU散热器1700 | 58 | ||
| 三星 1066Mhz 美光 8500 | 16G * 2 | 44 | |
| ssd固态 sata3.0 | 240G | 57 | |
| 亮机卡 512M | 21 | ||
| EATX开放式机箱 | 26 | ||
| Tesla P40显卡 | 24G | 1008 | 买之前问下商家,之前是否有人实践过,如果不支持,商家会告诉你的。也可以看评论,有些人会留言用于ai炼丹啥啥的。 |
| Tesla P40显卡散热3D涡轮风扇 | 78 |
合计花费: 2100左右。
99,主板未运行,各种折腾,害怕砸自己手里。面对一个个看不懂的电子元件,那是一种无力感,就像猿人面对现代科技的无力感,让人沮丧。 这是可以联系淘宝售后,一步步排查。最差也可以寄回去检修,千万不要闷声砸自己手里。我是折腾后,申请的售后,检修后重新给我寄了个新的过来,不知道是自己操作不当,还是它本身的质量问题;(我第一次在取CPU那个保护盖板的时候,太小心了,结果紧张反而掉了一下到CPU芯片阵脚上面,当然这个千万不要跟售后说)。99并断电,此时再次开机,无法正常启动bios。 过一会再次开机,可以正常进入bios,运行一会后又自动关机。(再次特别感谢咸鱼*雷电工作室电脑专家对我提供的无偿技术指导)这里有几个知识点是我万没想到的:
above 4g decoding选项,主要是用于显卡寻址,不是什么高大上的功能,好像很多主板都有。但是有个注意事项,开启了above 4g decoding后,亮机卡可能显示不了图形界面,在安装系统之前需要关闭。安装系统之后,开启above 4g,如果是windows系统,由于其有图形界面,也不能直接通过HDMI接口输出,但是linux系统依然可以直接输出。使用Tesla P40,主要使用远程主机的方案进行使用。向日葵或者内网ssh远程,我使用的后者。
chatglm2-6b,chinese-llama2,qwen-7b-chat,whisper语音识别,modelscope语音中英语音合成,感觉还有很多有趣的东西在等着,玩点时髦的。折腾虽然辛苦,但是是值得的。后续有空了也把踩坑的经历记录下来,帮助有需要的人,共同进步。