- 主题:颗粒度大力出奇迹：chatgpt和sora的简单原理
Chatgpt基于大语言模型llm的基本单位token，也就是文本程序代码数字，这种基本构件块就是chatgpt底层颗粒，对它进行大规模训练后，就能生成chatgpt产生的结果结果。
Sora的工作原理完全一样，只是它基于的颗粒是一个个小的图像块，是由各种视频和图像拆解生成的。对这些颗粒进行大规模训练后，就能生成出sora产出的东西。由此可见，从语料的角度看，chatgpt和sora没有什么不同。
其次，从算法角度看，chatgpt和sora都是通过一种条件扩散算法diffusion transformer来实现训练。预训练前也进行降维压缩，和深度学习原理一样。训练后得到原始像素空间，用来生成各种视频。
最后，从规模上看，两者都是通用模型，各自能把海量文本数据或者视频数据吃进肚里，海量的结果是大力出奇迹，能够产生各种意想不到的东西。
由此可见，我国ai失败的原因很简单，数据不够海量，规模和openai没法比，虽然国内诞生了三百多家各种行业大模型，却很少有人去用，无人问津。这种原因是致命的，规模小，数据质量差，使得我们可能永远赶不上国外人工智能，甚至差距会指数增大。
--
FROM 61.146.44.*
你看看国内的大语言模型，谁用了？三百多家，全是半死不活的
【 在 shuang99 的大作中提到: 】
: 说起来天朝很擅长大力出奇迹啊
: 数据应该也是海量啊
: 是受到数据是中文的限制了吗？
: ...................
--
FROM 61.146.44.*
商用还得等等，无数应用
【 在 jjzhu 的大作中提到: 】
: 关键需求是什么？有没有杀手级应用
--
FROM 61.146.44.*
大佬，sora并不是针对某一特征视频或者图片进行训练，而是无所不吃的通用模型
【 在 jjzhu 的大作中提到: 】
: 而且基于美颜图片学习训练后会不会导致结果不准确？
--
FROM 61.146.44.*
和美颜没有关系，现在刚开始，炸裂的是生成一分钟视频，里面内容高度相关，一致，符合逻辑
【 在 jjzhu 的大作中提到: 】
: 图像和文字不一样，文字是什么就是什么。如果大部分视频和图像都是经过二次美颜处理的话，那它得到的输入就是修正过的
--
FROM 61.146.44.*
Transformer是聊天机器人的核心技术，你可以理解为一种神经网络，它在经过训练后优化成一种大语言模型，能够对你的数据进行精准识别。它相当于一头狼，先把猎物吃进肚里，再分解为蛋白质脂肪，这是transformer转换器里面的encoder，然后狼再把脂肪蛋白质合成自己的肌肉等等，这个过程是transformer里面的decoder
【 在 shuang99 的大作中提到: 】
: transformer怎么翻译准确 啥意思
: 发自「今日水木 on iPhone 13 Pro」
--
FROM 61.146.44.*
统统下岗，吃土，喝西北风。不过六六除外
【 在 s111111 的大作中提到: 】
: 大王，那以后电影、电视、短视频的很多从业人员，是不是都不吃香了…
:
--
FROM 61.146.44.*
你如果了解神经网络，那么sora背后的技术你就一目了然
【 在 shuang99 的大作中提到: 】
: 厉害厉害
:
: 发自「今日水木 on iPhone 13 Pro」
--
FROM 61.146.44.*
够了
【 在 shuang99 的大作中提到: 】
: 我都只了解皮毛
: 发自「今日水木 on iPhone 13 Pro」
--
FROM 61.146.44.*
还行
【 在 s111111 的大作中提到: 】
: 哈哈，大王最后一句太优秀了…
:
--
FROM 61.146.44.*