cv时代，用svm+cnn做图像任务也很常见呀。
LLM也就是维度更高了。

【 在 laoqi 的大作中提到: 】
: 就当前文献的总结来看，我的理解是Transformer主要基于NN做的。如果非要用SVM或者更广义的Reproducing Kernel来做，基本不太可行。理论上，SVM对应的Reproducing Kernel Hilbert Space(RKHS)，它可以看作NN能所表达的泛函空间的子集，而且还只是非常特例的情况，低维下泛化性能就差了很多，数据是高维的情况就更加糟糕了。此外，模型训练对Kernel的计算更是难题，尽管Kernel Trick本身提出来的时候卖点之一是“简化计算”，但是真到数据量大的时候，就要考虑用Random projection减少计算量。我自己尝试着用Reproducing Kernel写文章，最后留下个半成品扔在那里了。
--
FROM 101.39.135.*