近些年,在医疗体制改革政策的影响下,医药行业得到了迅猛发展,药品市场的需求不断地增长。制药企业作为国内医药行业的重要组成部分更是迎来了发展机遇。但有关数据表明,近几年制药企业的发展陷入了困局,其原因在于研制新药时所消耗的时间与成本过大。药品专利是制药研究人员获取信息的主要渠道之一,但药品专利篇幅长且信息量大,这导致制药企业的研究人员提取所需信息的时间成本过高。此外,在新药开发任务中,通过遵循某些给定的规则,根据化学分子性质,进而生成新的化合物更是重中之重。但在药厂中,研制新药通常需要通过做大量实验或者根据专家的经验改变化合物的化学性质,这样过于依赖人工经验,导致制药成本高、精度低,且对专家经验有较高的要求。因此,如何有效地控制药品专利分析的时间成本以及在已有研究成果的基础上进行改进的实验成本对制药企业研制新药、提高企业经济效益具有重要意义。针对这样的问题,本文提出了一种基于分层强化学习的有向分子设计模型,该模型引入分层强化学习的思想-Option框架对复杂的状态空间进行分层,能够有效优化化合物的化学性质。在动作Option模块中,本文设计了基于Q-learning方法的学习准则,通过不断更新动作值函数,选取动作Option集合(增加、删除、替换操作)中的最优动作,在遵循SMILES编码的规则下,克服了基于文本的深度强化学习方法出现SMILES语法错误的问题。在状态Option模块中,提出基于三步时间差分算法的化合物的更新策略,通过对未来三个时间步学习后的期望来更新当前化合物,进而提高模型的运行效率。考虑到改变分子主框架结构会对分子产生影响的问题,本文设计了一种基于水溶解度和结构相似性的模型奖励函数,从而引导模型产生所需要的物理或生物特性的结构。为了便于研究人员进行专利的查询和分析,基于本文所提出的算法并结合制药企业的实际需求,前端采用React脚手架、后端采用基于MyBatis的Spring Boot框架、数据库采用MySQL技术,开发了一套药品专利分析系统软件。系统采用B/S架构,具有用户登录、基础信息查询、结果精炼、SMILES主结构展示、分子性质优化五大模块的相关介绍及实现。本文所开发的系统应用还是实验仿真阶段,采用本文开发的系统进行分析,不仅可以快速查询药品专利信息而且能够优化药品专利中分子的化学性质,进而缩短药品研发周期。