随着大数据时代的到来,数据规模不断增长,数据分析算法复杂度也在迅速增加,处理器的计算能力面临新的挑战。异构计算的出现为解决该问题带来了新的可能,许多规则应用程序可以从异构计算系统中获得良好的加速,然而使用异构计算系统加速不规则程序面临很多挑战。不规则程序广泛存在于社会网络分析、数据挖掘、N体问题和图形算法中,它们的属性在执行过程中可能会发生变化,并且通常不可预测。此外,应用中的不规则性可能导致控制流发散、负载不平衡和并行执行的低效。本文通过对不规则应用程序深入研究,分析了不规则性导致异构计算资源利用率不足的原因。研究表明现有的粗粒度负载分配策略无法很好地加速不规则程序,需要一个更加细粒度的负载分配策略来加速不规则程序。为了解决不规则应用程序难以从异构计算中获得理想加速的问题,本文针对由CPU和离散GPU组成的异构计算系统上不规则应用程序的加速提出了细粒度负载分配策略,重塑工作负载内部的工作项后再执行负载分配,保证划分到各个设备的工作负载更加规则,提高硬件资源利用率,从而提升性能。同时本文提出了实时负载感知的细粒度分配策略,在运行时执行动态工作负载分配。通过对工作负载分块处理,将规则化工作负载的操作和内核计算操作进行重叠,以此隐藏规则化负载的开销;并在运行时收集计算单元的处理速度,从而指导工作负载的规则化和调度。在无需离线分析或训练的情况下同时实现设备级负载均衡和线程级负载均衡。本文在真实的异构计算平台中实现了提出的细粒度负载分配策略和实时负载感知的细粒度分配策略,并进行了实验和分析。实验结果表明,细粒度负载分配策略的确可以有效提高GPU的利用率;并且与现有的先进的粗粒度负载分配方案相比,实时负载感知的细粒度分配策略可以缩短高达20%的执行时间。