河道航拍图像包含水环境以及沿岸陆地环境等信息,已有的航拍检测方法所产生的结论不能准确、直观的反映场景信息。因而本文提出采用卷积网络自动提取图像特征,通过长短时记忆网络将图像特征转换为文本语言,让航拍河道图像的分析过程变得精确、快速,为公众提供直观可靠的场景目标信息。本文具体工作如下:(1)采用无人机采集约100小时(4T)的河道场景视频,提出河道场景检测的10类目标以及评价标准,制作了相关位置标签数据集和语义数据集用于后续深度学习实验。(2)设计框选目标检测网络,检测河道场景中的目标位置以及种类,并针对河道场景的特点优化网络结构:增加了上采样层用来提升定位精度;减少了部分卷积层,添加相应的泛化层,用来加快检测速度;增加了邻近位置惩罚项,限制不合理的位置标签信息,提升分类精度。(3)提出了基于LSTM单元的语言生成网络,能自动地学习语料库语句,通过增加泛化层以及ReLu激活函数使语言网络能生成较为流畅、简洁的英语短句。(4)通过编码-解码的形式将图像网络和语言网络链接成端对端的语义检测网络,并增加的匹配惩罚项,使生成的句子更加贴近图像内容,实现了图像到文本语言的精准翻译。实验结果表明:目标检测模型能对10种河道场景目标进行分类和定位。优化后的网络结构,相较于原网络显著提升了检测效果,其平均分类精度达到了83%,交并比达到62%。端对端语义网络生成的语句表述流畅、长度适中,能如实、精简的描述图像区域内容。