君语贤
时光静好,与君语;细水流年,与君同;繁华落尽,与君老...

百科>正文

中文中的停止词在这THULAC分词17类分词中包含哪些

2024-01-25 17:45 君语贤停止词

中文中的停止词在这THULAC分词17类分词中包含哪些

中文中的停用词通常被分为较多类别,其中一些类别可以映射到北大中文词性标注集中的不同词性。以下是一些常见的停用词类别及其在标注集中的对应词性:

  1. 连接词类别,如"和"、"与"、"或"、"同"等,对应标注集中的连词(c)词性。

  2. 助词类别,如"的"、"地"、"得"、"之"、"所"等,对应标注集中的助词(u)词性。

  3. 介词类别,如"在"、"于"、"向"、"对"等,对应标注集中的介词(p)词性。

  4. 代词类别,如"我"、"你"、"他"、"她"、"它"等,对应标注集中的代词(r)词性。

  5. 数词类别,如"一"、"二"、"三"、"十"、"百"、"千"等,对应标注集中的数词(m)词性。

  6. 标点符号类别,如"。"、","、":"、";"、"!"、"?"、"…"等,对应标注集中的标点符号(w)词性。

  7. 非语义功能词类别,如"了"、"都"、"也"、"还"、"就"、"再"、"即"、"更"、"等"等,这些词通常起到结构或修辞作用,在标注集中对应的词性比较多,如助词(u)、连词(c)或副词(d)等。

需要注意的是,停用词的具体定义在各种应用场景中可能略有差异,不同的算法和模型在处理文本时也会有不同的停用词列表。因此,在具体的应用中,一般需要根据实际情况选择合适的停用词集合。

本文链接:https://www.weguiding.com/baike/1022.html