现在有没有PC可以训练的参数较少的大模型

水木社区手机版

主题:现在有没有PC可以训练的参数较少的大模型
楼主|songyunhui|2023-07-12 11:25:41|只看此ID
想自己玩玩
--
FROM 117.133.52.*
1楼|tgfbeta|2023-07-12 11:40:49|只看此ID
自己玩就微调吧
LORA什么的
【在 songyunhui 的大作中提到: 】
: 想自己玩玩
--
FROM 221.198.65.*
2楼|songyunhui|2023-07-12 14:00:47|只看此ID
对，就是要玩儿微调，怎么玩儿呢
【在 tgfbeta 的大作中提到: 】
: 自己玩就微调吧
: LORA什么的
--
FROM 117.133.52.*
3楼|tgfbeta|2023-07-12 14:17:35|只看此ID
https://replicate.com/blog/fine-tune-llama-to-speak-like-homer-simpson
比如这个，就是训练llama按辛普森一家的台词来说话的
【在 songyunhui 的大作中提到: 】
: 对，就是要玩儿微调，怎么玩儿呢
--
FROM 221.198.65.*
4楼|songyunhui|2023-07-12 14:38:49|只看此ID
多谢，
【在 tgfbeta 的大作中提到: 】
: https://replicate.com/blog/fine-tune-llama-to-speak-like-homer-simpson
: 比如这个，就是训练llama按辛普森一家的台词来说话的
--
FROM 117.133.52.*
5楼|Xjt|2023-07-14 20:23:49|只看此ID
别玩language generation啊，玩text classification，fine-tune Bert就行了。随便一个机器就能玩。
【在 songyunhui 的大作中提到: 】
: 想自己玩玩
--
FROM 112.86.84.*
6楼|tgfbeta|2023-07-15 15:36:13|只看此ID
去年的技术不香啦
【在 Xjt 的大作中提到: 】
: 别玩language generation啊，玩text classification，fine-tune Bert就行了。随便一个机器就能玩。
--
FROM 111.163.123.*
7楼|songyunhui|2023-07-17 10:09:59|只看此ID
感觉是这样的
【在 tgfbeta 的大作中提到: 】
: 去年的技术不香啦
--
FROM 117.133.52.*
8楼|LYMing1986|2023-12-01 21:17:11|只看此ID
3b、6b、7b模型都可以单卡训练
3b用fp16 参数只需6G显存，训练时双倍参数量需12G显存。
优化函数再来点，其他杂七杂八来点，随机梯度下降肯定可以训

6b、7b如果用int8，训练也无压力

如果再用上deepspeed，搞数据并行、模型并行、load to NVME，更大模型单机训练也应该可以
--
FROM 120.244.234.*