中文的token是汉字？还是词？

发自「今日水木 on ALN-AL00」
--
FROM 111.55.24.*

?
【 在 poocp 的大作中提到: 】
:  
: 在自然语言处理中，token（词元）与汉字或英语单词的对应关系并不是固定的，以下是大致情况：  
: 与汉字的关系  
: 通常情况下，一个汉字可以被看作是一个 token，比如在处理中文文本时，“我”“你”“他” 等单个汉字会被当作一个独立的 token。  
: 但对于一些复杂的词语或
: ..................

发自「今日水木 on ALN-AL00」
--
FROM 111.55.24.*