- 主题:折腾了小半年，发现垂直领域模型是个坑
感觉海洋测绘这个领域是数据太少，不确定性太大
化工那个，字面看，不适合往大模型方向搞
大模型，基础还是语言模型，基于此，才有机会往某个专业领域去微调
--
FROM 39.155.178.*
前面部分我认同，海洋测绘那个数据量其实很大(接近TB级)，但是问题是覆盖率依然不够，因为海洋测绘这个领域虽然数据量大，但是并不能覆盖所有的典型海况，这方面就很麻烦
然后化工那个主要问题是现有的Traformer构架对于时序数据本来就处理不好
但是我不同意的是：大模型，基础还是语言模型
现在的大模型底层的Transformer构架其实可以做很多其他事情的
【 在 jansea 的大作中提到: 】
: 感觉海洋测绘这个领域是数据太少，不确定性太大
: 化工那个，字面看，不适合往大模型方向搞
: 大模型，基础还是语言模型，基于此，才有机会往某个专业领域去微调
--
修改:scramjet FROM 183.128.95.*
FROM 183.128.95.*
知识并不完全确定，你可以类比天气模型，有基于假设的理论模型但是对于长周期的预测准确度很低
确实有概率成分，但是并不是用自然语言去描述的，我们是直接自己构建模型做训练
【 在 reaphone 的大作中提到: 】
: 你们的领域知识是确定的（初始态、约束、目标都可以用数学建模），还是概率的？
: 概率的话，是用自然语言可以描述的么？
: 如果是概率性的（比如中医辩证），而且是用自然语言描述的（病历、医书），那我感觉垂直领域模型应该有搞头。
: ...................
--
FROM 183.128.95.*
微调通过验收也有问题？
【 在 scramjet (用扯淡的态度,面对操蛋的人生...) 的大作中提到: 】
: 科研项目嘛，懂得都懂
: 其实我一开始也不是很看好，我们是参与单位不是牵头单位
: 然后现在快要专家评审了，在做验证测试时候指标不好看，和前面吹的差挺多
: 反正先让牵头单位头疼去吧
--
FROM 115.171.36.*
那发布了那么多领域大模型都是吹水吗
【 在 scramjet 的大作中提到: 】
: 分别和某头部大学，以及北京某研究所合作
: 搞海洋测绘数据的垂直大模型，以及某化工过程的行业大模型
: 最后的结果都是一地鸡毛，花费大量的精力训出来的模型
: ...................
--
FROM 159.226.52.*
垂域模型很多啊，金融，医疗，法律，。。。训练模型有探索成分，不是标准可复制产品，要耐住性质，每步都搞对才行
追短平快一把搞不定就撤，肯定失败
【 在 scramjet 的大作中提到: 】
: 分别和某头部大学，以及北京某研究所合作
: 搞海洋测绘数据的垂直大模型，以及某化工过程的行业大模型
: 最后的结果都是一地鸡毛，花费大量的精力训出来的模型
: ...................
--
FROM 43.138.122.*
我觉得虽然你们没搞出来 但是不代表这个是不行的
【 在 sanqigong 的大作中提到: 】
: 垂域模型很多啊，金融，医疗，法律，。。。训练模型有探索成分，不是标准可复制产品，要耐住性质，每步都搞对才行
: 追短平快一把搞不定就撤，肯定失败
:
--
FROM 112.224.69.*
这个人工智能目前就是百科全书模式。
特定领域，你用非线性处理就是高校。
AI目前的基础就是非线性
【 在 scramjet 的大作中提到: 】
: 分别和某头部大学，以及北京某研究所合作
: 搞海洋测绘数据的垂直大模型，以及某化工过程的行业大模型
: 最后的结果都是一地鸡毛，花费大量的精力训出来的模型
: ...................
--
FROM 36.112.184.*
数据不行吧，垂直领域搞rag就可以
【 在 scramjet 的大作中提到: 】
: 分别和某头部大学，以及北京某研究所合作
: 搞海洋测绘数据的垂直大模型，以及某化工过程的行业大模型
: 最后的结果都是一地鸡毛，花费大量的精力训出来的模型
: ...................
--
FROM 124.79.213.*