- 主题:折腾了小半年，发现垂直领域模型是个坑
分别和某头部大学，以及北京某研究所合作
搞海洋测绘数据的垂直大模型，以及某化工过程的行业大模型
最后的结果都是一地鸡毛，花费大量的精力训出来的模型
其效果和RAG+基座模型相比并没有实质性改善
--
FROM 122.234.18.*
科研项目嘛，懂得都懂
其实我一开始也不是很看好，我们是参与单位不是牵头单位
然后现在快要专家评审了，在做验证测试时候指标不好看，和前面吹的差挺多
反正先让牵头单位头疼去吧
【 在 juda 的大作中提到: 】
: 这玩意儿技术方向就有问题，纯纯骗钱的玩意儿你们真上啊
: 发自「今日水木 on V2178A」
--
FROM 122.234.18.*
一方面现在查的严，专家都不敢随便签字，所以指标不能差太多
另外肯定是不会真的应用到工程，这个大家心知肚明
【 在 juda 的大作中提到: 】
: 指标都能做得，不会真得应用工程上吧，钱到手了各方开心就行了
--
FROM 122.234.18.*
我觉得你根本不了解我们的项目搞什么方向...
你这套思路还是通用应用的，我们是搞很专的方向
【 在 superisaac 的大作中提到: 】
: 和AI大模型最好结合的是有一套script的系统，越全面越好，比如excel, blender之类的，可以用大模型生成script到里面执行。所以你们最好能先实现个python script能调用垂直模型的。然后微调大模型，让能生成代码。
:
--
FROM 122.234.18.*
嗯，我发个帖子其实是想看一下，其他同行在垂直领域模型有没有什么好的进展
到底是我们的方法/思路不对，还是这条路子本来就不合适
【 在 swiminriver 的大作中提到: 】
: 也得尝试啊
: 不试试怎么知道行不行
:
--
FROM 183.128.95.*
前面部分我认同，海洋测绘那个数据量其实很大(接近TB级)，但是问题是覆盖率依然不够，因为海洋测绘这个领域虽然数据量大，但是并不能覆盖所有的典型海况，这方面就很麻烦
然后化工那个主要问题是现有的Traformer构架对于时序数据本来就处理不好
但是我不同意的是：大模型，基础还是语言模型
现在的大模型底层的Transformer构架其实可以做很多其他事情的
【 在 jansea 的大作中提到: 】
: 感觉海洋测绘这个领域是数据太少，不确定性太大
: 化工那个，字面看，不适合往大模型方向搞
: 大模型，基础还是语言模型，基于此，才有机会往某个专业领域去微调
--
修改:scramjet FROM 183.128.95.*
FROM 183.128.95.*
知识并不完全确定，你可以类比天气模型，有基于假设的理论模型但是对于长周期的预测准确度很低
确实有概率成分，但是并不是用自然语言去描述的，我们是直接自己构建模型做训练
【 在 reaphone 的大作中提到: 】
: 你们的领域知识是确定的（初始态、约束、目标都可以用数学建模），还是概率的？
: 概率的话，是用自然语言可以描述的么？
: 如果是概率性的（比如中医辩证），而且是用自然语言描述的（病历、医书），那我感觉垂直领域模型应该有搞头。
: ...................
--
FROM 183.128.95.*
对，所以我们都说模型微调是炼丹，因为你根本不知道练出来的啥效果
【 在 kanshangren 的大作中提到: 】
: 训练效果是不是没办法预测，只能训练完了看是吧？
--
FROM 122.233.16.*
据我所知90%以上都是RAG+基座模型
【 在 rumengruhuan 的大作中提到: 】
: 所以现在各位大佬在公司里面落地的方式是训练私有大模型的多，还是用RAG+基座模型的多？
--
FROM 122.233.16.*
很有可能啊，这里面可能性太多了
包括特定领域也许就不适合垂直领域模型，所以我在发帖看看其他哪些领域有做的比较好的
【 在 liaotianxia 的大作中提到: 】
: 有没有可能是你们水平不行
: 发自「今日水木 on IN2020」
--
FROM 122.233.16.*