使用网络对文本进行建模的五种方法

Josiah02

　　过去几年，人工智能“聊天机器人”的爆炸式增长，以及它们生成模拟人类书写的文本的能力（通常非常准确），引起了人们对文本结构方式的关注。
　　分析文本的一个有用方法是将其视为一个网络，数学家和计算机科学家熟悉的网络分析方法在语言学中非常有用。
　　网络理论可以以不同的方式用于模拟文本块中单词之间的关系，将分析模式与连贯性和写作质量的一些更主观的方面联系起来。
　　巴西巴伊亚州立大学的 Davi Alves Oliveira 和 Hernane Borges de Barros Pereira 比较了将句子表示为网络的五种方法，表明每种方法对于特定应用都有价值。该分析现已发表在《欧洲物理学杂志 B》上。
　　他们的研究重点是文本的一种属性，即凝聚力，它本质上是使一段文本作为一个整体而不是一组随机句子发挥作用的因素。它的凝聚力主要由单词之间的关系构成。“想象一下，文本就像一张地图，单词就像城市……[并且]我们根据单词之间的关系将它们连接起来，”奥利维拉解释说。“这让我们可以探索语言使用者如何策略性地选择单词来构建一个有凝聚力的结构。”
　　网络理论以节点为基础，这些节点通过边线连接，定义了它们之间的关系。Oliveira 和 Pereira 在文中介绍了定义这些节点和边线的五种不同方法，然后使用网络分析工具来测量连接的强度和模式。
　　在某些模型中，单个单词被词干或基本单词替换为节点（因此“文本”将同时代表“文本”和“文本”）和/或删除诸如“and”或“the”之类的连接词；边可能连接连续的单词或同一句子中的单词。
　　奥利维拉补充道：“通过这种分析，我们可以看到词汇选择如何相互影响，并对文本的整体含义和结构产生影响。”
　　连贯性以及写作质量的更主观方面（如清晰度和流畅度）可以与网络模式联系起来。这表明研究人员的分析可能对语言教师、作家和翻译人员有实际应用价值。