计算机辅助艺术设计例如计算机绘画、计算机自动上色等是科研人员长期进行探索的问题,因为与人类多样化的表达方式相关,而人类感受与复杂多变,使其成为一个挑战性强而又持续探索的领域。随着人工智能与机器学习最近几年的发展,计算机艺术与设计辅助系统有了新的突破,例如GAN能够自动生产图片,pixel2pixel能够自动依据已有风格进行色彩填充,PaintsChainer能在标注颜色的情况下为二次元图片自动上色等。本文提出了一种基于语义智能理解的自动配色和上色系统。该系统主要解决了目前自动上色系统只能通过标注色彩、有限类型进行色彩填充或依赖已有色彩风格进行迁移的局限,使得系统更加智能,可以直接对人类的语言进行响应。对于设计师而言,本系统可以将文本的描述,即时转化为配色方案对设计线稿进行填充,大大方便了其使用。而配色方案来自于艺术作品,其独特的审美丰富不死板,可以帮助设计师开拓思路,得到更好的色彩方案。本文包含3个创新点:1.设计实现了深度学习模型对艺术品相关的词语进行理解和编码;2.本文使用独创的TRSV模型实现了轻量且高效的句子向量编码,实现了句子的实时语义检索;3.将图片信息与语义层面的隐藏信息进行关联,其图片风格相似性的偏序特性被保持到其语义描述的偏序特性中,据此提取图片色彩以及自动上色。文本解决的难点一共3点:1.语言表征:如何对输入的文字、艺术品的文本信息进行语义理解,获得带有语义信息的编码形式,为了模型的有效性和高效性的平衡,设计实现了新的算法模型并取得了良好的效果2.语义搜索:输入文字的编码信息与艺术品文本的编码信息对比,搜索算法,涉及语义空间相似度、建模编码、高维向量检索等问题;3.艺术品的色彩特征提取需要满足:灵活、准确、概括,以及自动上色需要考虑到色彩连续性、色彩比例、效果图的光影效果,本文设计实现了多种算法,用以实现可以实时批量预览的的自动上色。此算法在室内设计线稿图纸的实际测试中取得了良好的结果。基于设计师的实际使用反馈,达到了目前业界的最好效果。