互联网技术与金融行业的有效结合促使互联网金融的快速发展,大量具备互联网金融背景的公司相继成立,信贷业务作为金融公司资产业务的重要组成部分是公司重大的利润来源。对于金融公司来说,风险控制是保证公司有效获利的重要保障,然而,传统风险监管方式使用的数据存在来源单一性、时效性等问题使得金融公司的不良贷款率持续增高。互联网的不断发展促使越来越多的商业信息、企业信息、行业信息、政策信息被第一时间发布,针对金融公司所关注的个人、企业、行业等相关信息进行加工整理,帮助公司及时了解贷款方的相关信息,对甄别潜在风险具有重要意义。有效的原始数据对于风险控制具有较大的积极意义,面对互联网信息的爆炸式增长,如何精准采集多样化的数据源信息是一个亟待解决的问题。传统信息采集方式不甄别信息的有效性而全部采集不仅降低了网络数据爬取的效率而且降低了信息的质量。针对信贷背景下的信息采集需求,本文主要研究工作如下：(1)通用型分布式爬虫解决方法。本文针对分布式爬虫兼容性不足等问题,提出普适型、通用型的分布式爬虫系统,在保证高速、有效、准确的基础上兼容多样化的爬取策略。通用型分布式爬虫的设计主要包含以下几个部分：系统整体结构、通信方式、各功能节点、异常处理等。(2)有效链接获取的网页增量抓取方法。本文针对传统意义上链接获取方式的不足,提出一种基于无效链接过滤的网页有效链接获取方法,考虑到方法的通用性,主要针对网页常用的表现方式(列表页)所表示的信息进行非结构化信息的提取,保证提取准确度的同时极大地拓展了策略的可复制性,只需要更改数据源就可以实现其它行业的精准信息采集。