在传统智能客服开发的漫漫长路上，为了让系统能够准确识别用户问题，需要花费大量的精力在 关键词 识别上。每一个用户需求，背后都有着千奇百怪的问法，为了尽可能覆盖这些情况，需要整日埋首于代码的海洋，编写着似乎无穷无尽的判断逻辑。
自然语言处理技术是智能客服应用的基础，在自然语言处理过程中，首先需要进行分词处理，这个过程通常基于统计学理论，分词的精细化可以提升智能客服的语言处理能力，统计分词和马尔可夫模型是常用的方法，但在非常用词汇的识别精度方面稍显逊色，而精度高低直接影响分词结果的准确性，多样性分词有助于发现形式上的不合理性。
