中文分词与词频计数

字符、词次与词形

字符数描述文本规模，词次累计每个词出现的次数，词形数表示出现过多少种不同的词。比较材料前，需要确认使用的是哪一个统计单位。

中文分词如何影响结果

中文通常不以空格分隔词语，分词器根据词典、模型和上下文切分词项。例如“研究生”的整体识别与拆分会产生不同的词表。专业术语、机构名称和缩略语需要结合原句检查。

• 在同一研究中使用一致的分词与预处理设置。
• 检查重要术语是否被正确切分。
• 调整规则后，对需要比较的材料统一重新处理。

停用词与占比的计算范围

停用词过滤会改变参与统计的词项范围。阅读占比时，应确认分母是全部词次、过滤后的词次，还是当前筛选结果。结果页与导出的口径说明应一起保存。

词频结果的用途

词频适合描述反复出现的表达。需要判断词项与研究问题的关系时，可以继续查看关键词、差异词和对应语境。