https://katagotraining.org/networks/这里是katago训练的所有公开版AI的权重文件列表，ELO rating是一套带有通胀的积分系统，也就是说越后训练的AI积分越高，完成训练时间点相近的AI积分对比才有意义，世界顶级人类选手现在的水平是不到4000分。
而且作者在刚刚更新推荐的最强AI已经是18b模型了
Strongest confidently-rated network: kata1-b18c384nbt-s5832081920-d3223508649
因为katago自训练AI已经出来2年半了，很多数据是可以参考的：
一、初期6b的AI训练盘数是大概1500盘，慢慢增加到6000盘，然后现在又重新降到1500盘，这是因为训练材料有阀值，过了阀值就不会再增强。堆训练材料不会使AI变强。
二、模型规模从6b增加到60b，现在又降到18b，最新训练的60b和18b强度只差40分，18b模型已经全面超过了40b的模型。堆参数也不会使AI变强。
所以说GPT4对于GPT3.5的增强，并不全是训练材料和参数增加的结果，增益的绝大部分应该归功于训练方法的改进。GPT4的训练方法一经定型，无论怎么改进权重，增益不会超过10%。GPT4因为是个商业项目，报告内容里有很多其实是有意夸大，以便更好融资的，超码我能看出来的就有：
一、GPT4用了过量的训练材料和参数。
二、GPT4的训练并不需要用超算，用超算更多是为了宣传效果。
三、GPT4这样强度的模型完全可以在PC上部署，模型不会超过100G。
四、GPT永远做不到自训练，只能是辅助工具。
【 在 lvsoft 的大作中提到: 】
: chatgpt之前有个instructgpt，那个才是RLHF的源头。普遍推测是chatgpt是instructgpt的后续。gpt4现在没有披露太多具体的信息。事实上目前与gpt4有关的官方渠道公开的可信消息很少，靠谱的信息基本也都是权威人士的推测为主。
: 另外生物大脑会经历这个减枝过程我当然也是知道的。但其实神经网络内部也已经观察到类似的现象了。而且描述这个现象的论文还挺早的，大概是4-5年前的论文了，翻出来太麻烦我就不翻了。
: 这一点不神奇，并且也不是支持更小的模型有更大价值的理由。ai领域对于生物脑的仿生是一直在推进的。比如现在的主要方向是sparse neural network。网络会被分区，部分激活，而不像现在动不动激活整个模型。这一点跟人脑也是很像的，只不过目前还没有做出相应的破圈的产品。
: ...................
--
FROM 113.70.180.*