- 主题:著名大模型中用到的一个位置编码是一个国内二流学校硕士提出的
他们不是第一波，位置编码从深度学习一开始那几年就提出来了，不是2021年。
他们只是做出开源组件，能实用的一个东西。而且也只是系统里一个很小的模块。
就跟阿里和华为的码农，在apache和linux社区提出一些组件和补丁一样。
也不一定是最优解，过几年可能系统还会迭代，到时候会换其他的也说不定。
【 在 Daxiaoxiao 的大作中提到: 】
: 对啊，你说的没错。他们就是第一波做这个，刚好碰上这个问题了，解决方案也不难，估计就是最优解了，后面的人自然用这个结果了
--
FROM 223.167.12.*
检查过了，是个公司在开源社区发布的产品组件。学术价值不大，工业界有代码贡献而已。
【 在 redaiyu 的大作中提到: 】
: 真的牛人，不需要这些虚无的标签，有货没货拉出来走走
:
--
FROM 223.167.12.*
检查过了，是个公司在开源社区发布的产品组件。学术价值不大，工业界有代码贡献而已。
【 在 stoneyang 的大作中提到: 】
: 发下链接
--
FROM 223.167.12.*
检查过了，是个公司在开源社区发布的产品组件。学术价值不大，工业界有代码贡献而已。
【 在 zfbdcyj 的大作中提到: 】
: 对啊。过不了考核，另一个发了影响力极小的顶刊文章的过了。他一怒之下回国外了，现在在美国某校当副教授。
:
--
FROM 223.167.12.*
abstract里最后写了啊，代码合并到huggingface里面了。
【 在 hsing 的大作中提到: 】
: 你知道他们用的是那一块吗？你真的是啥啥看不懂还要装一个。。搜了下你青椒班发言。。
--
FROM 223.167.12.*
你就是追一科技的作者吧？故意自吹自擂。
【 在 hsing 的大作中提到: 】
: 哈哈
: :
--
FROM 223.167.12.*
我哪来闲工夫管你们的事情。
你就是追一科技的，炫耀自己的产品而已。
这种套路见的多了。就是ai公司开发个开源产品，顺便写篇水文，发表到一些不知名会议或者工程性质的期刊上去。这几个作者，本身也是科研圈博士出身，靠开源代码和paper，刷个kpi，跟公司捞点奖金，提高一下自己的知名度而已。
【 在 hsing 的大作中提到: 】
: 你连我说的那个点在哪里都没找到，你能说出这篇论文做了个啥不，我说的那个点在哪里能找到不
: :
--
FROM 223.167.12.*
大模型呗，没啥创新。
Hinto提出深度学习，那才叫创新，指明了路子。
现在的大模型，就是往上堆东西而已。
真正学术的创新，你直接去看AAAI，NeuIPS这些顶会。
类似caffe这种开源框架，虽然很有影响力，但是对于学术创新其实贡献很小。
你的科研眼界很一般，分不清别人工作的价值所在和重要性。
你不是一流的科研人才。
【 在 hsing 的大作中提到: 】
: 看都没看懂你装个啥呢？你看过palm llama结构没？知道这是啥不？
--
FROM 223.167.12.*
不用急，比光刻机容易。
这个也就落后几年而已。主要是资金投入和数据投入，还有人才团队。
【 在 hsing 的大作中提到: 】
: 你咋不堆一个出来超越一下GPT4呢，不就是堆么，国内堆了半天连GPT3.5都超不了
--
FROM 223.167.12.*
你是没毕业的学生吗？一篇论文算个P啊。谁有功夫看别人的论文。
哪怕我是评审，编辑，也都是直接给手下博士生帮忙看一下而已。
你不给我钱，我凭啥看你的论文。
学术圈的论文现在就跟擦屁股的纸一样不值钱。
【 在 hsing 的大作中提到: 】
: 连个论文的点都get不到洋洋洒洒说这么多废话
--
FROM 223.167.12.*