近年来数据驱动的故障诊断方法被广泛研究,但是这些方法有效的一个前提条件是训练诊断模型的数据与待测试数据应需采集自相同的设备和运行环境,然而这个前提条件在实际的诊断情形中很难得到满足,实际能够用来训练诊断模型的通常是采集自同类型设备或不同工况的历史数据。对于实际诊断情形下存在潜在差异的数据集,数据驱动故障诊断方法是否有效的问题鲜有讨论。首先讨论了影响诊断方法泛化性能的可能因素,然后构建了多个跨数据集诊断任务,在此基础上对几个数据驱动诊断方法的泛化性能进行了经验性的分析,分析发现相较于模型复杂度数据集间的分布差异是影响跨域诊断泛化性能的主要因素;并进一步从信号特性分析的角度解释了设备型号差异和工况差异对跨域诊断性能影响的深层次原因。这些讨论有益于启发面向实际诊断情形的数据驱动诊断方法的研究。