移动互联网的日趋成熟,给人们的生活方式带来了巨大的改变。移动设备硬件性能的大幅提升以及软件功能的日益丰富,使得人们更倾向于通过智能手机等移动设备去使用互联网提供的各种服务,如社交、娱乐、支付等。然而,移动应用数量的激增,随之而来的是更具挑战性的网络管理任务。用户在享受移动网络资源的同时,也面临着更多移动互联网应用安全问题。应用的行为可能是正常行为或恶意行为,具有恶意行为的应用称为恶意软件。移动恶意软件层出不穷,包括各种木马、病毒、僵尸程序等。这些恶意软件在移动设备上执行恶意扣费、隐私窃取、远程控制等恶意行为,对用户造成严重威胁。移动终端应用识别和移动应用恶意行为检测对网络管理和网络安全有着重要的意义。一方面,识别网络流量对应的应用可以帮助网络运营者有效地进行网络管理,比如网络资源分配、网络流量计费等,从而提升网络服务质量和用户体验。另一方面,识别网络流量中存在的恶意行为,可以实现对恶意的网络攻击进行有效的预警,为用户的网络安全提供保障。因此,本文对上述两个方面,即移动终端应用识别与移动应用恶意行为检测展开了研究。现有移动应用识别技术中存在基于载荷特征的识别方法无法识别使用加密协议通信手段的应用程序,以及关注于加密流量识别的移动应用识别技术扩展性往往较差这两个问题。本文提出了基于隐马尔可夫模型(HMM)的移动应用识别方法,从每个待识别应用启动时产生的网络流量数据的不同网络流中提取出定义的统计特征,根据不同网络流的时间信息得到对应的时间序列,进而对每个待识别应用程序分别建立对应的HMM模型。然后,利用常见的10个应用程序对本文提出的方法进行了测试验证,平均识别准确率为97.9%,使用不同设备得到的测试数据进行测试,其平均准确率为96.8%。测试结果说明本文提出的移动应用识别方法具有较高的准确率和良好的泛化能力。现有基于网络流量特征的移动应用恶意行为检测技术实时性较差,且无法处理加密流量。本文提出了基于决策树与随机森林的移动应用恶意行为检测方法,根据网络流量是否加密提取不同类型的特征(字段特征和统计特征)并分别使用决策树与随机森林算法建立对应的模型,保证了对使用加密协议传输的恶意软件的检测。同时,本文提出了一种结合多特征综合排名的特征选择算法。最后,使用5560个恶意样本进行样本网络流量采集,并收集整理了26769个网络流量数据离线文件样本,从中选择了12类恶意样本家族进行测试,得到了不低于90%的检测准确率,同时验证了提出的特征选择算法的有效性以及方法对不同来源样本的检测能力。