- 主题:折腾了小半年,发现垂直领域模型是个坑
所以现在各位大佬在公司里面落地的方式是训练私有大模型的多,还是用RAG+基座模型的多?
--
FROM 223.74.153.*
你是预训练还是后训练?
垂类领域模型的关键是,数据都是私有的,大模型不可能见过、学过
【 在 scramjet 的大作中提到: 】
: 分别和某头部大学,以及北京某研究所合作
: 搞海洋测绘数据的垂直大模型,以及某化工过程的行业大模型
: 最后的结果都是一地鸡毛,花费大量的精力训出来的模型
: ...................
--
FROM 222.129.2.*
有没有可能是你们水平不行
【 在 scramjet 的大作中提到: 】
: 分别和某头部大学,以及北京某研究所合作
: 搞海洋测绘数据的垂直大模型,以及某化工过程的行业大模型
: 最后的结果都是一地鸡毛,花费大量的精力训出来的模型
: 其效果和RAG+基座模型相比并没有实质性改善
: --
:
发自「今日水木 on IN2020」
--
FROM 120.245.98.*
【 在 reaphone 的大作中提到: 】
: 你们的领域知识是确定的(初始态、约束、目标都可以用数学建模),还是概率的?
: 概率的话,是用自然语言可以描述的么?
: 如果是概率性的(比如中医辩证),而且是用自然语言描述的(病历、医书),那我感觉垂直领域模型应该有搞头。
: ...................
现在的病历,绝大部分结构化了...
--
FROM 106.7.251.*
可能有几个方面的问题:
一、数据量和算力不足,导致训练效果不够
二、或许需要针对性地改进大模型算法,以提升效果和效率
三、训练方法不对
排除了这些之后,才能给出断言
不过每一点验证,都需要大量的投入,不容易
【 在 scramjet 的大作中提到: 】
: 分别和某头部大学,以及北京某研究所合作
: 搞海洋测绘数据的垂直大模型,以及某化工过程的行业大模型
: 最后的结果都是一地鸡毛,花费大量的精力训出来的模型
: ...................
--
FROM 124.77.122.*
是不是人群不行?这东西得顶尖智慧人群去做。
--
FROM 111.197.232.*
好多人大模型和大语言模型都混在一起。现在的所谓垂直大模型,其实都是垂直领域的语言大模型,不是 alpgago, alphafoler,气象这种专门模式. 效果大部分靠吹. 教育部今年要发布10个领域大模型,且看他一地鸡毛吧。
--
修改:Zshadow FROM 110.87.65.*
FROM 110.87.65.*
人家按指标一个个查啊 为啥要懂...
【 在 juda 的大作中提到: 】
: 这种没事得,审计得人也不懂。。。。
--
FROM 59.175.49.*
炼丹炼丹,原料火候风水丹炉都看一看。
【 在 scramjet 的大作中提到: 】
: 分别和某头部大学,以及北京某研究所合作
: 搞海洋测绘数据的垂直大模型,以及某化工过程的行业大模型
: 最后的结果都是一地鸡毛,花费大量的精力训出来的模型
: ...................
--
FROM 111.192.246.*
都是造概念圈钱~~~~
--
FROM 114.248.122.*