有没有在本地部署或训练语言模型的?无需太夸张的硬件的?
如题,在线服务有其优点,但显然也其缺点也是很严重的,甚至是不可避免的。封号,泄密,内置的限制,甚至可能有安全问题等等就不需要详细讨论了。
所以现在看起来本地部署私人AI是有必要的,也不光是语言模型,绘画方面也很有价值,
目前我发现已经有家具厂利用AI出效果图给客户,制作并销售AI设计的沙发了。
现在的情况说的搞笑一点就是:再不买显卡就来不及了。
虽然本地部署的AI与云服务会在各个方面存在劣势,但是我们实际上并不需要它是一个全领域专家,
我们可以在我们需要的领域内训练它,让它能够帮助我们更快更高效的完成我们需要做的工作就可以了。
我不了解语言模型方面的东西,但是绘画的模型我已经看到了一些自行训练得到很好效果的例子了,这说明在所需的特定范围内自己训练是可行的。
我想对于我们这种搞技术的家里的电脑,配置64GB内存应该是一个还算轻松可以实现的目标。
但是显卡买什么?好像需求跟一般显卡不一样是需要大显存?
能不能兼顾平常干活用的专业绘图显卡?好像不太适合A卡?能不能一个显卡搞定?
有没有已经趟过水的分享一下在不追求特别高效率的情况下,需要什么样的配置才能玩得起来?
我先分享一下网上搜集到的内容:
来自:
https://zhuanlan.zhihu.com/p/612811428
https://www.zhihu.com/tardis/zm/art/605881294
B站上挺多人分享相关的心得,我今天看有人用lora来做 大神这个是开源的模型吧,从哪里下载? 一般情况下3080TI就可以了 我也想了解下楼主这个需求怎么实现。 dellric 发表于 2023-4-15 10:35
一般情况下3080TI就可以了
(引用自4楼)
唉,也不便宜啊 lhj200304 发表于 2023-4-15 09:42
大神这个是开源的模型吧,从哪里下载?
(引用自3楼)
huggingface那里有不少模型,但是也不是必须去那,有些是有BT种子下载的,这样更容易下载回来,毕竟文件都很大 只要能达到百度的效果,也能做出不少好玩的东西来了。 yyts 发表于 2023-4-16 14:40
只要能达到百度的效果,也能做出不少好玩的东西来了。
(引用自8楼)
没错,甚至不支持中文都可以 cne53102 发表于 2023-4-16 14:46
没错,甚至不支持中文都可以
(引用自9楼)
我的要支持中文,不支持英文没关系 {:smile:} yyts 发表于 2023-4-16 16:39
我的要支持中文,不支持英文没关系
(引用自10楼)
哈哈,看来是刚性需求了
页:
[1]