蒸馏技术和应试教育非常相似，搞素质教育想考高分比应试教育考高分难百倍，但是应试教育和蒸馏技术一样，创新能力不行
对于MoE技术，同样性能的模型，拟合更少的数据，专注于某一特定领域，能取得更好的效果。

很多人用寒门出贵子来说智商不遗传，其实不然，绝大多数寒门贵子只是得益于MoE和蒸馏技术在应试表现得好，但也正是局限于这俩技术，寒门贵子很少有发财或者做出重大创新的。中国的寒门贵子，只有一辈子吃苦，才能在欣赏内卷的社会中做个高官或者高管
--
FROM 39.144.104.*