水木社区手机版
首页
|版面-人工智能(AI)|
新版wap站已上线
返回
1/1
|
转到
主题:现在有没有PC可以训练的参数较少的大模型
楼主
|
songyunhui
|
2023-07-12 11:25:41
|
只看此ID
想自己玩玩
--
FROM 117.133.52.*
1楼
|
tgfbeta
|
2023-07-12 11:40:49
|
只看此ID
自己玩就微调吧
LORA什么的
【 在 songyunhui 的大作中提到: 】
: 想自己玩玩
--
FROM 221.198.65.*
2楼
|
songyunhui
|
2023-07-12 14:00:47
|
只看此ID
对,就是要玩儿微调,怎么玩儿呢
【 在 tgfbeta 的大作中提到: 】
: 自己玩就微调吧
: LORA什么的
--
FROM 117.133.52.*
3楼
|
tgfbeta
|
2023-07-12 14:17:35
|
只看此ID
https://replicate.com/blog/fine-tune-llama-to-speak-like-homer-simpson
比如这个,就是训练llama按辛普森一家的台词来说话的
【 在 songyunhui 的大作中提到: 】
: 对,就是要玩儿微调,怎么玩儿呢
--
FROM 221.198.65.*
4楼
|
songyunhui
|
2023-07-12 14:38:49
|
只看此ID
多谢,
【 在 tgfbeta 的大作中提到: 】
:
https://replicate.com/blog/fine-tune-llama-to-speak-like-homer-simpson
: 比如这个,就是训练llama按辛普森一家的台词来说话的
--
FROM 117.133.52.*
5楼
|
Xjt
|
2023-07-14 20:23:49
|
只看此ID
别玩language generation啊,玩text classification,fine-tune Bert就行了。随便一个机器就能玩。
【 在 songyunhui 的大作中提到: 】
: 想自己玩玩
--
FROM 112.86.84.*
6楼
|
tgfbeta
|
2023-07-15 15:36:13
|
只看此ID
去年的技术不香啦
【 在 Xjt 的大作中提到: 】
: 别玩language generation啊,玩text classification,fine-tune Bert就行了。随便一个机器就能玩。
--
FROM 111.163.123.*
7楼
|
songyunhui
|
2023-07-17 10:09:59
|
只看此ID
感觉是这样的
【 在 tgfbeta 的大作中提到: 】
: 去年的技术不香啦
--
FROM 117.133.52.*
8楼
|
LYMing1986
|
2023-12-01 21:17:11
|
只看此ID
3b、6b、7b模型都可以单卡训练
3b用fp16 参数只需6G显存,训练时双倍参数量 需12G显存。
优化函数再来点,其他杂七杂八来点,随机梯度下降肯定可以训
6b、7b如果用int8,训练也无压力
如果再用上deepspeed,搞数据并行、模型并行、load to NVME,更大模型单机训练也应该可以
--
FROM 120.244.234.*
1/1
|
转到
选择讨论区
首页
|
分区
|
热推
BYR-Team
©
2010.
KBS Dev-Team
©
2011
登录完整版