论文部分内容阅读
由于近年来人工智能的技术突破,深度学习作为机器学习领域中重要分支,加速了图片搜索技术新一轮的革新进程。
图片搜索的工作原理是将目标图片的特征提取出来,然后通过图片聚合的方式将相似图片从图片库中提取出来,根据相似度的由高到低排列相似图片。因此需要经常更新图片库,即更新图片库中缺失特征的图片,以保证图片库中的图片全覆盖和高相似。本论文实现了一个可以用于存取图片特征的自动化系统,主要研究成果包括:
1.将系统开发任务分解为三个子系统:图片扫描和写入子系统、分布式图片下载子系统以及深度特征抽取子系统。图片扫描和写入子系统能高效且稳定地将图片数据扫描和写入到ES服务器和图片库中。图片下载子系统能大规模下载图片并进行预处理,生成图片特征提取任务的请求。深度特征抽取子系统将所需特征提取出来。
2.将三个子系统形成了一个如下数据闭环:从ES扫描出图片数据,然后通过分布式图片下载系统进行下载,并生成特征抽取任务请求,接着由特征抽取子系统完成特征抽取任务,最后写入ES。
3.针对系统的关键性难点,提出了独创性技术,例如自动构建特征抽取任务和进程通信的选择两个难点,针对前者提出了基于位示图原理的构建方法,针对后者则提出了基于python的多进程多线程模型创建了进程切割技术。
4.完成了系统的开发,在运行中不需要人为的外部干预。实测结果证明不仅降低了人力成本,还提高了图片特征提取的准确率和速度。
图片搜索的工作原理是将目标图片的特征提取出来,然后通过图片聚合的方式将相似图片从图片库中提取出来,根据相似度的由高到低排列相似图片。因此需要经常更新图片库,即更新图片库中缺失特征的图片,以保证图片库中的图片全覆盖和高相似。本论文实现了一个可以用于存取图片特征的自动化系统,主要研究成果包括:
1.将系统开发任务分解为三个子系统:图片扫描和写入子系统、分布式图片下载子系统以及深度特征抽取子系统。图片扫描和写入子系统能高效且稳定地将图片数据扫描和写入到ES服务器和图片库中。图片下载子系统能大规模下载图片并进行预处理,生成图片特征提取任务的请求。深度特征抽取子系统将所需特征提取出来。
2.将三个子系统形成了一个如下数据闭环:从ES扫描出图片数据,然后通过分布式图片下载系统进行下载,并生成特征抽取任务请求,接着由特征抽取子系统完成特征抽取任务,最后写入ES。
3.针对系统的关键性难点,提出了独创性技术,例如自动构建特征抽取任务和进程通信的选择两个难点,针对前者提出了基于位示图原理的构建方法,针对后者则提出了基于python的多进程多线程模型创建了进程切割技术。
4.完成了系统的开发,在运行中不需要人为的外部干预。实测结果证明不仅降低了人力成本,还提高了图片特征提取的准确率和速度。