语言模型就是用来计算一个句子的概率模型，也是判断一句话是否合理的概率。一直以来，如何让计算机可以理解人类的语言，都是人工智能领域的大问题，而机器翻译、问答系统、语音识别、分词、输入法、搜索引擎的自动补全等也都是应用到了语言模型中。一开始人们都是进行基于规则的语言模型的研究，但是这样往往有很大的问题，后来有人发明了基于统计的语言模型。并发现了其巨大的效果，N-Gram语言模型就是一种基于统计的语言模型。

N-Gram模型存在一些局限性的问题，包含数据的稀疏性、存储和计算成本的问题，为解决上述问题引入马克可夫