内容感知存储系统中的信息检索关键技术研究

被引量 : 0次 | 上传用户:bill119
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的日益发展,信息资源呈现出爆炸性增长的态势。数字资源的急剧增长导致有效数据通常被淹没在信息海洋之中,单靠人工或传统查询工具将很难迅速定位所需信息。由于信息检索技术可从大规模信息系统中快速、准确、全面地获取有效信息,因此它被认为是解决上述问题的最佳途径。现有研究围绕着提高存储系统智能化程度、增强异构信息检索能力和提升查询结果相关性等方面展开,但是存储与查询功能的相对独立使得存储系统很难理解所存内容、并依据感知到的信息进行查询优化操作。为了将信息检索领域中的相关技术移植并应用于存储领域,在研究内容感知存储系统架构的基础上,探讨了该系统中的信息组织、索引和检索机制,从系统结构角度提供了一种有效融合存储与检索功能的整体解决方案。为解决存储系统缺乏内容感知能力的问题,设计了一种跨越存储栈的信息扩展与传递机制。该机制根据应用层的具体需求抽取上层语义信息并作为扩展信息保存,然后在传统的数据I/O通道上扩展元数据I/O通道实现扩展信息的传递,存储系统通过解析此类扩展信息获取语义内容,进而实现在存储系统内部感知和使用上层信息以优化系统整体性能的目的。在该扩展传递机制的基础上设计并实现了内容感知网络存储原型系统。为充分利用存储系统感知到的各类信息,为使用者提供高效、便捷的查询服务,提出了内容感知网络存储系统中的两阶段检索策略。由于存储系统中的查询需求主要来自系统管理员对元数据的查询,以及普通用户对关键字内容的查询。这两类查询通过对元数据和关键字分别建立索引来提升系统查询速度,但存储系统自身所具备的特性并没有被用于优化上述查询过程。所提出的两阶段检索策略将基于元数据和关键字的查询与底层存储系统的块相似性查询相结合,提升了系统的整体查询效率。为有效衡量索引优化操作对系统性能的影响,提出了基于分级存储的索引分割机制及开销模型。随着存储系统中信息量的不断增大索引所消耗的空间也在同步增长,有些索引在生成之后几乎不会被检索到,因此并非所有索引都拥有相同的访问频率。据此索引优化算法按照访问频率对索引进行分割和分级存储,将不常用的索引存放到低速存储设备上以节约成本,并分析了索引分割对查询命中率、索引空间开销以及查询时间所造成的影响。为满足用户对于相似性查询的需求,提出了基于内容哈希的数据相关图构建方法。由于存储系统通常采用层次结构来组织和管理数据,这种层次化设计思想通过标准的接口在各层间传递特定的信息,它隐藏了每一层所不必关心的信息,但也约束和限制了扩展信息在各个层次间的自由流动。所提出的数据相关图构建方法以存储系统中的重复数据块为桥梁,通过打破层次壁垒在多层信息之间建立起联系,生成具备全局特征的完整数据相关图,为将信息检索领域的相关理论引入存储系统奠定了基础。为解决用户查询请求过于宽泛或精细时无法得到预期查询结果的问题,结合数据相关图对两阶段查询机制中的排序算法进行改进,提出了块相似性度量算法。该算法将信息检索中网页排序算法的核心思想引入存储系统,以重复数据删除计算所得到的重复数据块作为生成数据相关图和衡量数据相关度的依据,改进了现有的相似查询和相关度计算方法。该解决方案反映了数据的内部结构特征,降低了查询失效率、提高了查全率。从上述多个方面开展深入研究,经过模型建立、算法生成、理论分析、实验验证等步骤,将内容感知技术和信息检索关键技术引入到存储系统中,提升了存储系统的智能化程度和信息检索能力。
其他文献
面对住房公积金贷款需求的日益强烈,文章从公积金贷款引发的风险及防范措施等方面进行了阐述。
水是生命之源,是人类生存的必备品,也是我国经济保持可持续发展的基础资源。我国水资源人均占有量不足,水资源面临着污染加剧、供需紧张等情况,而且水资源是一种纯公共物品,通过市
文章首先简述了铁路人资管理的工作内容以及特殊性,其次从多个角度进行分析,总结出加强铁路人资管理在现阶段铁路企业中的重要意义。提出了开展战略性思想教育,引入内部竞争
压路机出厂前的跑振测试是压路机生产工艺流程中不可缺少的环节之一。目前,国内压路机生产企业对其压路机产品的跑振测试主要是在室外道路试验场中完成的,这种试验场测试方法存
<正>2014年,中国进入全面深化改革元年。3月1日开始实施商事制度改革。主要采取实行注册资本认缴登记制、放宽登记条件、将年检改为年报公示、简化经营场所登记手续、推行电
我国小微企业由于其经营时间短、经营风险高等因素,融资难仍然是其发展的瓶颈。鉴于此种现状,在分析小微企业融资难原因的基础上,提出了将众筹融资模式应用于小微企业的合理
<正> 肝胃不和是指肝木犯胃的一类病证,临床以胃脘痛为主要表现,其中包括了现代医学的胃、十二指肠、肝、胆囊、胰腺、脾等脏器的疾病。临床多只着眼于柴胡疏肝散之类证,殊不
农业是物联网应用最广泛的一个领域,将物联网技术应用于农业生产运作中是我国农业走可持续发展道路的客观要求。当前,我国农业互联网还存在一些问题,为此应加快农业互联网应
近年来,外来语不断增多。有人认为外来语丰富了日语的词汇,也有学者对外来语的泛滥抱有抵触感。不过,外来语逐渐受到重视这一点是不争的事实。外来语被大量的借用到日语,之后在造
微弧氧化处理因可在铝镁钛锆等阀金属表面获得高硬度,良好的耐蚀性,优异生物相容性,绿色环保等特点的陶瓷层而在表面处理领域得越来越广泛的应用。但微弧氧化处理是一个相当复杂