基于新词发现与词典信息的古籍文本分词研究

来源 :软件导刊 | 被引量 : 0次 | 上传用户:kf_haiyang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现代汉语分词虽已取得较大进展,但是古籍文本分词由于受到古代汉语词汇特征、语义、语法等限制,始终没有形成一种行之有效的方法。通过互信息与邻接熵的新词发现方法从《汉书》中寻找未登录词,结合古代汉语词汇表、古代人名词表和古代地名表构建古籍文本分词词典,以此为基础,使用pyNLPIR对《汉书》进行分词操作。实验结果显示,新词发现方法可以在一定程度上完善古籍文本分词所需的用户词典全面性,但是对3字以上的词语识别效果较差。实验证明使用新词发现结合词典信息的方法对古籍文本进行分词能够有效提高古代汉语分词准确度。
其他文献
ue*M#’#dkB4##8#”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:(100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
神经衰弱是我国常见的神经症,但随着疾病的演化,它的诊断逐渐被废弃。但临床观察发现,本病在就诊人群中依然占有一定比例。本文分析在我国文化背景下保留神经衰弱诊断的优缺
转向架是车辆重要的走行部件。冬季雨雪多气温低的条件下,积冰积雪现象比较严重。为保持转向架良好的性能,提出了关于转向架融冰除雪的有效方法,避免过程中可能出现的故障模
随着社会主义市场经济体制的确立,高等教育的作用和地位正发生着重要的变化。如何适应市场经济的要求,正确对待、引进、利用市场机制的功能,兴利除弊,已是一个亟需研究和解决的现
双方共同成立了韵达-Intel智慧物流实验室,旨在通过发挥各自优势,探索区块链、无人机、无人仓、无人车等在高科技领域的发展和应用,深度赋能快递物流发展,加速构建智慧物流服
鹿鞭为传统名贵中药,具有补肾阳、益精血的功效。鹿鞭使用方便,用于人体医疗保健、医药加工等方面的历史悠久。鹿鞭化学成分复杂,具有多种生物活性作用,药理作用广泛。由于鹿
太阳能作为一种清洁再生的能源,在我们日常生活的各个领域扮演着非常重要的角色。本文追朔了提高太阳能电池转换效率的发展历程,详细地介绍了太阳能电池的等效电路图和发电原理
参照国家手动变速器换挡疲劳试验标准,针对某汽车配件制造厂生产的手动换档变速器轴上E型密封圈,自主研发设计了一台E型密封圈疲劳试验装置。通过模拟换档正常操作与误操作载
内燃机车风源系统中,螺杆式空压机逐步取代传统的活塞式空压机,空压机的故障率和检修周期大幅延长,检修成本大幅降低。目前,困扰螺杆式空压机最主要的故障是机油乳化问题。因
基于系留气球构建的RFID定位系统,可以应用于农牧业,提高生产效率和产品安全,有利于促进农牧业产业升级。提出基于系留气球的RFID定位系统构建方法,描述了定位系统的精确定位算法、智能数据链和载荷适配等关键技术,为系留气球的应用市场拓展奠定基础。