基于NLP的金融公告分类与抽取系统的设计与实现

来源 :北京交通大学 | 被引量 : 1次 | 上传用户:terzaghi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着国家经济活力的进一步增强,上市公司总数不断增多,金融公告数据分析的难度进一步加大。为了更快速、准确地为风投公司、资金托管机构提供分析数据,金融公告分类与抽取平台使用了大数据加自然语言处理技术,使得每天全国上万家上市公司的公告都能即时得到分析处理。为了提高公告的分类以及抽取准确性,系统中使用二级改进文本抽取方法,先分类出含有属性值的文本行或段(潜在标签),再进行属性值抽取,大大提高了数据平台的核心竞争力。本文首先阐述了项目背景、相关产品的国内外现状以及关键技术与理论,对整个系统进行了功能性和非功能性需求分析。根据需求分析进行了系统的整体架构设计、划分各个模块的主要功能点与数据库设计,然后着重对系统进行了详细设计与实现。笔者完整参与了整个研发过程,独自完成了公告分类模块、公告标注模块、公告属性值抽取模块的主要开发工作,并参与了朴素贝叶斯、潜在标签分类、NER命名实体识别算法的调研与实现工作。在基本需求完成的基础上,笔者针对不同的分词方法、文本分类模型进行了大量的对比实验,开发了分词、数据预处理、调参模块对模型进行了性能优化;并通过语法规则、正则表达式、NER命名实体识别相组合的实验方法提高了系统的文本抽取准确率;对公告的标注与评估等功能进行了可视化处理,提升了系统中模型训练数据的数量和质量;加入了角色和权限模块,实现了对用户的统一管理;入库系统各个模块日志信息,实现了对模型各项指标的统一监控。最后对整个系统进行了功能测试、压力测试等,保证了系统稳定正常运行。目前该系统已经上线运作,针对重要公告类别的抽取准确率和召回率均能达到80%以上,每天对大量的金融公告进行智能结构化处理,抽取出关键信息入库,覆盖全维度的金融市场相关信息。用户可通过该系统使用金融信息查询、债券违约预警、信贷风险监控等功能,为个人和投资机构提供了重要参考。
其他文献
党的十七大报告首次提出,“坚持正确用人导向,按照德才兼备、注重实绩、群众公认原则选拔干部,提高选人用人公信度。”选人用人公信度,既是党员干部群众对干部选任工作结果的认可
教育模式是教育观念、教育思想、教与学理论的集中体现,网络的出现为学习者提供了适应个性化需求的自主学习的机会,建立满足不同学生需要的网络学习模式,是网络教学的当务之
本文旨在我国建设终身教育体系和学习型社会的背景下,概要分析了学习型社会的特点、对教育体系与学习体系改革的要求和发展现代远程教育的必要性。进而介绍了教育部启动的“数
小型水电站装机容量及机组台数的选择十分重要,其不仅直接影响工程建设项目的投资,而且对电站部分功能的有效利用乃至建成后交付使用运行是否经济可靠至关重要。介绍了科拉机
连锁便利店商品陈列系统使用开源3D引擎为基础,通过虚拟现实技术有效实现前端应用。在此基础上,提出一种基于商品综合贡献度的规范性的自动陈列算法,在操作时方便高效地实现
研究了竹炭中空涤纶混纺针织物的保暖性、透湿性、导湿性3项热湿舒适性指标以及抑菌率、远红外发射率、紫外线屏蔽率、负离子发射量、氨吸附5项保健功能指标,实验显示竹炭中空
装备制造业是中国制造产业中的重要组成部分,是促进国家经济增长的主要动力,是国家工业发展的基础,构建强有力的装备制造业,是推进制造业大国向制造业强国发展的必要手段。中国虽然具有“世界工厂”的地位,但从低端制造业迈向高端制造业,还具有重重压力。辽宁省作为中国装备制造业的发源地,具有雄厚的产业基础和庞大的装备制造业体系,在发展装备制造业上具有得天独厚的优势,但与国内国外先进地区相比还具有一定的差距,因此
每五年一届的全国美术作品展览可谓集中国美术创作之大成,其获奖、入选作品既代表当下国内的美术创作水平,也引领着其后的美术创作取向。文章以不久前举办的第十二届全国美术
据媒体报道,在上海、广州等一线城市早已遍地开花的24小时现代便利店,近两年在武汉呈爆发式增长,且多为连锁经营。去年,武汉便利店数量增速位居全国第二,但能真正实现24小时营业的
报纸
对水轮发电机定子线棒端部倾斜段采用渐开线方式进行设计,在保证接线端径向尺寸和轴向尺寸 的前提下,给出了渐开线所在圆锥面的半锥角所满足的数学方程,并运用Excel VBA编程