《计算机学报》文章摘要   全文下载
文章题目	基于LDA模型的文本分割
作者	石晶1) 胡明1) 石鑫2) 戴国忠3)
作者单位	1)(长春工业大学计算机科学与工程学院 长春 130012) 2)(辽宁师范大学功能材料化学研究所辽宁 大连 116029) 3)(中国科学院软件研究所人机交互技术与智能信息处理实验室 北京 100190)
发表年份	2008
发表月份	10期(1865—1873)
文章摘要	摘要 文本分割在信息提取、文摘自动生成、语言建模、首语消解等诸多领域都有极为重要的应用.基于LDA模型的文本分割以LDA为语料库及文本建模，利用MCMC中的Gibbs抽样进行推理，间接计算模型参数，获取词汇的概率分布，使隐藏于片段内的不同主题与文本表面的字词建立联系.实验以汉语的整句作为基本块，尝试多种相似性度量手段及边界估计策略，其最佳结果表明二者的恰当结合可以使片段边界的识别错误率远远低于其它同类算法. 关键词 文本分割；LDA模型；相似性度量；边界识别