- 主题:AI是怎么解决中文分词的
在语义理解前先要做最简单的事情之一就是分词,有些汉字词语分词容易有歧义的
还有做数学题是怎么识别数学公式的?
--
FROM 111.193.88.*
分词的另一种说法是高效的建立基于上下文的概率图模型
神经网络可以理解是一个参数概率模型
【 在 newtaizi 的大作中提到: 】
: 在语义理解前先要做最简单的事情之一就是分词,有些汉字词语分词容易有歧义的
: 还有做数学题是怎么识别数学公式的?
--
FROM 223.71.251.*
如果你说的是LLM,那么你可以去学什么是tokenizer
【 在 newtaizi 的大作中提到: 】
: 在语义理解前先要做最简单的事情之一就是分词,有些汉字词语分词容易有歧义的
: 还有做数学题是怎么识别数学公式的?
--
FROM 202.47.106.*