复杂流体的流动和传热传质规律是当前重要的研究课题.粘弹性流体属于复杂流体,其种类多,流变性质差异大,传统的本构方程大多很复杂,因而需探索粘弹性流体的新型本构关系模型.纳米流体作为拥有广阔应用前景的复杂流体,尽管许多研究工作表明纳米颗粒增强基液传热,但其强化机理仍在探讨中,况且实验测量数据相差较大.故进一步开展纳米流体换热机理的研究有重要的意义.本文重点研究了粘弹性流体一类分数阶本构关系下的边界层流动问题及纳米流体边界层流动中的反常传热传质问题.对于粘弹性流体边界层问题,本文推导了含有空间分数阶导数的流动控制方程.利用李群分析方法,首次建立了此类方程的相似变换公式,并据此研究了斗板绕流和壁面射流问题.由于求解壁面射流问题的相似解需结合物理守恒律,故利用非线性自伴方法研究了此流动问题的守恒律.针对降阶后的常微分方程组,本文提出了龙格-库塔-Grunwald方法和龙格-库塔-预估-校正方法.最后分析了随分数阶阶数的改变,边界层中粘弹性流体的速度变化情况.本文接着研究了复杂介质中纳米流体的边界层流动和反常传热传质问题,即考虑纳米颗粒反常迁移行为对纳米流体对流换热的影响.利用随机行走模型,推导了纳米颗粒作反常运动的控制方程.基于纳米流体单相模型,研究了多孔介质中平板边界层反常传热问题,混合对流反常传热问题和非牛顿基平板边界层反常传热问题.数值结果表明,局部Nusselt数随分数阶阶数的减小而变大,即随着颗粒作Levy反常运动强度的增加,热边界层厚度变薄,纳米流体换热能力增强.接下来基于两相流模型,本文建立了纳米颗粒作Levy运动时两相模型的传热和传质控制方程,讨论了纳米颗粒浓度分布和纳米流体温度分布随分数阶阶数的变化.利用纳米流体两相模型,本文进一步研究了复杂介质对纳米颗粒扩散的影响,推导了新的纳米流体温度,浓度扩散方程.数值结果表明随着模型中分数阶阶数的增大,纳米粒子的扩散速度变大,即介质对颗粒扩散的迟滞作用减小,颗粒扩散速度趋于经典的Cattaneo扩散过程.