（3）自然语言处理大数据算法操作实践。 ① 作业目的。 旨在让学生理解马尔可夫模型（Markov Model）的基本原理，了解其在语音识别、词性自动标注、音字转换、概率文法、序列分类等各个自然语言处理等领域的广泛应用，体会其经过长期发展，尤其是在语音识别中的成功应用，如何使它成为一种通用的统计工具，以及到目前为止，它一直被认为是实现快速精确的语音识别系统的最成功的方法之一的主要原因。 ② 作业准备。 Orange3 软件下载并安装。 分词训练下载包含两个文件，自动谱曲及自动造句功能，是目前流行的 ChatGPT 的底层算法原理模拟。 a. 马尔可夫模型练习。 下面是马尔可夫模型在天气预测方面的简单例子。如果第一天是雨天，第二天还是雨天 的概率是 0.8，是晴天的概率是 0.2；如果第一天是晴天，第二天还是晴天的概率是 0.6，是雨天的概率是 0.4。问：如果第一天下雨了，第二天仍然是雨天的概率是多少？第十天是晴天的概率是多少？ 首先构建转移概率矩阵，由于每一天的状态只是晴天或者是下雨两种情况，所以矩阵是2×2 的，如表 2-9-11 所示。 表 2-9-11 天气状态概率矩阵

构造转移概率矩阵： 假设初始状态第一天是雨天，记为 则第一天是雨天，第二天仍然是雨天（记为）的概率为 则第十天（记为 P9 ）是晴天的概率：

b. 自然语言进行 token（词粒）分割。 打开自然语言处理（Natural Language Process，NLP）随机输入一段文字，并进行词条分割，如图 2-9-6 所示。



图 2-9-6 词条分割

③ 作业内容。 作业包括两个部分： ● Orange 中的自然语言处理； ● 撰写分析报告。 a. 文本语料。 从网上收集 4 段“老虎”的资料和 3 段“猴子”的资料，保存成.txt 格式。一般来讲，下载数据采用的是 txt 文件，而 txt 是一种纯文本文档，里面不会有任何字体格式，直观性较差，同时也不便于 Orange 平台操作，需要进行转换并预处理。 b. 增加文本分析模块。 使用 Orange3 处理文本数据，还需安装文本分析模块，进入菜单栏【Option】【Add-ones】，选中“Orange3-Text”，点击 OK，进行安装，安装好之后重新进入 Orange3 即可。 c. 载入文本。 在 Orange3 中，载入文本数据主要使用“Corpus”和“Import Document”，其中，Corpus 组件能够载入后缀为 tab，csv，xlsx 等许多格式的语料（试着尝试网站预存的一些.tab 的语料，可以用文本编辑器进入查看其格式），而“Import Document”能够作用于文件，根据文件名字 自动为文本添加类。 d. 预处理语料。 导入文本语料之后，要对语料进行预处理。预处理，一般包括去停用词，分词，去掉一些商标、网址等信息。 这里需要用到“Preprocess Text”组件，将其拖入右侧画板，并且和“Import Documents”连 接，进入其中，设置具体的预处理选项。 e. 文本转化为向量。 在 Orange3 中，文本转化成向量的组件为“Bag of words”（词袋模型），将其拖入画板，连接“Preprocess Text”，在“Bag of words”中，可以选择词袋模型的统计依据，比如“Count”词频、“Idf”逆文档词频等。 f. 文本相似性矩阵和文本聚类。 将左侧的 “Distances” 和 “Distance Matrix” 拖到右侧画板中，连接 “Bag of Words”- “Distances”，“Distances”-“Distance Matrix”，不用调整“Distances”的内容，直接查看“Distance Matrix”即可。 g. 撰写数据分析报告。