今天,图数据库由于其在现实生产生活场景中的建模优势、在关系查找方面的性能优势,成为越来越重要的基础软件。国内外许多软件厂商都推出了自己的图数据库产品。Stellar DB是星环公司的图数据库,可以与其他组件配合,实现图存储、图分析、图可视化等重要功能。Stellar DB存储引擎采用日志结构合并树(Log-Structured Merge-Tree,下称LSM树)数据结构作为底层数据存储方式。但是,在实际部署过程中,Stellar DB遭遇了严重的性能的问题。在进行大数据集高并发写入之后,Stellar DB性能急剧下降。虽然数据库节点还处于活跃状态,但客户端发出查询请求之后,无法在预期时间内接收到回复。原定的响应超时时间为30秒,但此时的Stellar DB实际需要数分钟才能返回查询结果。本文介绍了对问题的分析过程:通过对性能数据的观察,可以看到数据堆积在LSM树的最顶层,向下流动速度极慢,导致读请求搜索数据条目主键的时候需要访问多达上千个数据文件,从而使系统无法在预期时间内回复。这是因为在数据流动过程中,由于LSM树结构本身的固有维护方式,存在大量对旧数据的重新读写,造成了磁盘读写的浪费。而此情景下磁盘已经发挥最大读写速度,所以需要提升对磁盘读写的利用效率,减少浪费。据此思路,本文实现了减少读写浪费的优化方案。首先,通过修改flush算法对内存缓冲区进行强制分片,优化文件中的数据分布,使得单个L0数据文件主键范围缩小,方便compaction调度。其次,实现更精细compaction算法,根据下层数据文件的主键范围选择尽量多的上层数据文件,并计算I/O浪费最低的方案,能降低compaction过程中的磁盘I/O浪费,加速数据在LSM树向下流动。本文详细说明了对flush算法与compaction算法的联合创新性优化方案的设计与实现,并展示了优化过程中的多次性能测试结果,从中解释算法逐步优化的根据与效果。另外,本文通过对Stellar DB的存储模块进行抽象简化,实现了一个存储模块模拟程序,用于测试、验证优化算法的有效性。最终测试结果显示,从L0到L1的compaction读扩大率从419%下降至119%,数据不再堆积于顶层,各层compaction过程顺畅,数据能够较快流动到底层。经过优化,Stellar DB在高并发大数据集写入情景下的性能问题已经解决,系统能够及时正常响应读请求。目前优化后算法已经在Stellar DB中运行,性能稳定。