论文部分内容阅读
摘 要：当前社会，信息技术比较发达，进入互联网时代后，人们对上网流量有着较大的需求，在用户上网记录查询中，通讯行业的技术人员需要应用高效的技术，要提高查询的效率，这样才能使用户更加清楚的了解流量的使用情况。本文对大数据在移动用户上网记录查询中的应用进行了研究，大数据是一种先进的技术，其有着较高的效率，在通讯行业不断发展的背景下，大数据查询模式将逐渐取代传统的技术架构模式，所以，大数据处理技术有着良好的应用前景，相关技术人员应加强对这项技术的开发。
关键词：大数据；移动用户；上网记录；查询；应用
移动公司是我国通讯行业的重要组成，移动用户的数量比较多，在当前互联网时代，用户的上网流量在不断增长，对流量的需求量比较大，在这一增值业务办理的过程中，也产生了较多的纠纷，很多用户对移动公司提供的数据流量有着较多的意见，数据流量的投诉比较多。在对投诉进行处理与分析后发现，很多用户对手机上网流量的计费方式并不了解，对流量的计量单位并不理解。由于流量消费不够透明化，所以用户产生了较多的疑问，为了提高用户的满意度，移动公司采用了大数据处理技术，有效的降低了移动流量投诉率。
1 移动用户上网记录
移动公司需要给用户提供上网记录详单，这样可以帮助用户了解上网情况，可以使其了解移动流量的剩余量，可以避免出现超额消费的情况。上网记录详单包括多项内容，不但有用户每次的上网信息，还有网络访问的时间、产生流量的大小等。移动公司的系统中对这些数据有着存储与处理的功能，由于数据量比较大，所以，对移动运营商带来了较大的挑战。数据的规模比较大，有的智能手机用户，在不知情的情况下就会消耗流量，在平时上网的过程中，一次访问可能会产生多条上网记录，用户的智能手机，有的应用程序具有永久在线的功能，在用户未使用的前提下，会自动进行后台访问，而且会弹出消息通知，移动公司会对这些上网信息进行记录，以供用户参考。
移动运营商在对流量数据进行存储与处理时，一般采用的是架构设计模型，需要利用高性能的处理设备，但是这一模型在当前大规模的数据环境下并不适用。在对关系数据库进行查询或者对索引进行更新时，会降低指数级下降的情况。在当前移动公司的发展形势下，出现了上网记录数据过大，并且传统数据库无法处理的现状，必须采用大数据处理方法。大数据一种新型的上网记录查询方式，其可以提高查询的效率，而且只需要利用常规的软件工具就可以对数据流量进行处理。大数据在当前数据规模较大的背景下有着良好的应用效果，可以提高数据库的处理能力，其将取代传统的数据库管理模式，而且会逐渐取代架构设计模型，会形成一种新的大数据处理模型，可以更好的满足用户的需求，向用户提供全面的上网记录详单。
2 大数据处理技术
大数据处理技术是一种新型的数据处理方式，其有着较多的优点，可以解决传统数据库无法处理的问题，還可以提高流量数据的处理效率，具有高效、简便的特点。大数据处理技术利用了HDFS系统，其有着较高的兼容性，而且应用的范围比较广，有着较强的适用性，可以提高数据传输的效率。这项技术还有着高容量的存储系统，可以对大规模的数据进行存储与处理。这项技术还有着特殊的编程方式，在大数据的背景下，可以提高数据处理的经济效益，其有着特殊的框架模式，有利于提高数据处理的效率。
通过分析移动用户上网记录的数据特性，发现大数据处理技术特别适合采用Hadoop框架进行处理：由于上网记录数据规模庞大，是PB级规模数据，上网记录是用户上网过程的日志，不存在后续数据修改问题，这与Hadoop适合“一次写入、多次读取”的特性相吻合；Hadoop对硬件设备要求很低，并且系统开源，因此，可以大幅降低上网记录数据存储的软硬件成本；上网记录数据增长迅速，而Hadoop集群易于快速扩展。由此可见，Hadoop是解决上网记录数据存储和后续处理的最佳选择。
3 移动用户上网记录查询系统
3.1 系统的实现
构建上网记录查询系统首先要面对移动用户上网记录数据从哪里采集的问题，移动数据网络的设计通常包含一个网关设备。以GSM/WCDMA网络为例，GGSN是移动分组域核心网与互联网之间的网关设备，GGSN一面与移动网络侧的SGSN相连接（在3GPP规范中定义为Gn接口），一面与互联网相连接（在3GPP规范中定义为Gi接口）。Gn和Gi接口是用户所有上网数据的必经通道，不同的是移动网络侧的Gn接口采用GTP协议（GPRS Tunneling Protocol，GPRS隧道协议），除用户流量外，还承载着移动网络管理所必须的信令信息。
数据入库子系统完成了记录入库功能。每当有新的上网记录文件到达时，读取文件中的上网记录，完成必要的校验核对，入库至“数据存储子系统”中，并根据预定的策略定期删除。数据存储子系统基于开源Hadoop和HBase，并进行了创新改造，构建了全国集中的大数据平台，存储全国所有用户的上网记录信息。数据查询子系统的主要功能是完成上网记录查询。根据服务对象，分为两大部分：一部分提供给最终客户，实现自助查询；另一部分提供给客服人员，解决流量投诉问题。用户可以进行多种方式的查询，按用户号码、上网方式、时间段、网络承载类型、业务类型、信息类型以及按以上各种条件进行组合查询。此外，系统还包括必备的管理功能，如用户管理、权限管理、系统监控等。
3.2 系统部署
移动用户上网记录数据采用总部集中存储的方式进行部署。这主要基于如下考虑：（1）技术上可行；（2）资源利用更加集约化，可以有效节约投资；（3）数据集中才可以有效发挥大数据的威力，从数据挖掘中发现更高的价值。因此，移动用户上网记录查询系统分成两个部分，即总部集中的以上网记录为核心的大数据平台和查询系统、以及遍布中国联通全国31个省分公司的采集系统。总部大数据平台（一期工程）包含178个数据节点（DataNode）、3个名字节点（NameNode）、7个Zookeeper节点和1个集群监控节点。
结束语
在当前信息时代下，移动公司发展越来越快，提供的业务也越来越多，但是移动运营商受到的数据流量投诉也比较多，这主要是因为很多用户对移动公司数据流量的计量方法不够了解，对流量的计量单位也不理解，对产生的上网资费有着较大的疑问。为了提高用户的满意度，移动公司需要改变以往的上网记录查询方式，在采用大数据处理技术后，有效的提高了工作效率，而且降低了数据处理的经济费用，其可以向用户提供详细的上网记录查询单，可以使用户对上网情况更加了解。
参考文献
[1]王志军，黄文良.面向移动互联网的业务创新生态环境研究[J].电信科学，2012（3）.
[2]耿华，孟祥武，史艳翠.一种基于信任度和链接预测方法的移动用户偏好预测方法[J].电子与信息学报，2013（12）.
[3]尚文刚，吴华，赵斌.具有信息补偿的移动用户群挖掘算法[J].计算机工程与应用，2010（11）.
关键词：大数据；移动用户；上网记录；查询；应用
移动公司是我国通讯行业的重要组成，移动用户的数量比较多，在当前互联网时代，用户的上网流量在不断增长，对流量的需求量比较大，在这一增值业务办理的过程中，也产生了较多的纠纷，很多用户对移动公司提供的数据流量有着较多的意见，数据流量的投诉比较多。在对投诉进行处理与分析后发现，很多用户对手机上网流量的计费方式并不了解，对流量的计量单位并不理解。由于流量消费不够透明化，所以用户产生了较多的疑问，为了提高用户的满意度，移动公司采用了大数据处理技术，有效的降低了移动流量投诉率。
1 移动用户上网记录
移动公司需要给用户提供上网记录详单，这样可以帮助用户了解上网情况，可以使其了解移动流量的剩余量，可以避免出现超额消费的情况。上网记录详单包括多项内容，不但有用户每次的上网信息，还有网络访问的时间、产生流量的大小等。移动公司的系统中对这些数据有着存储与处理的功能，由于数据量比较大，所以，对移动运营商带来了较大的挑战。数据的规模比较大，有的智能手机用户，在不知情的情况下就会消耗流量，在平时上网的过程中，一次访问可能会产生多条上网记录，用户的智能手机，有的应用程序具有永久在线的功能，在用户未使用的前提下，会自动进行后台访问，而且会弹出消息通知，移动公司会对这些上网信息进行记录，以供用户参考。
移动运营商在对流量数据进行存储与处理时，一般采用的是架构设计模型，需要利用高性能的处理设备，但是这一模型在当前大规模的数据环境下并不适用。在对关系数据库进行查询或者对索引进行更新时，会降低指数级下降的情况。在当前移动公司的发展形势下，出现了上网记录数据过大，并且传统数据库无法处理的现状，必须采用大数据处理方法。大数据一种新型的上网记录查询方式，其可以提高查询的效率，而且只需要利用常规的软件工具就可以对数据流量进行处理。大数据在当前数据规模较大的背景下有着良好的应用效果，可以提高数据库的处理能力，其将取代传统的数据库管理模式，而且会逐渐取代架构设计模型，会形成一种新的大数据处理模型，可以更好的满足用户的需求，向用户提供全面的上网记录详单。
2 大数据处理技术
大数据处理技术是一种新型的数据处理方式，其有着较多的优点，可以解决传统数据库无法处理的问题，還可以提高流量数据的处理效率，具有高效、简便的特点。大数据处理技术利用了HDFS系统，其有着较高的兼容性，而且应用的范围比较广，有着较强的适用性，可以提高数据传输的效率。这项技术还有着高容量的存储系统，可以对大规模的数据进行存储与处理。这项技术还有着特殊的编程方式，在大数据的背景下，可以提高数据处理的经济效益，其有着特殊的框架模式，有利于提高数据处理的效率。
通过分析移动用户上网记录的数据特性，发现大数据处理技术特别适合采用Hadoop框架进行处理：由于上网记录数据规模庞大，是PB级规模数据，上网记录是用户上网过程的日志，不存在后续数据修改问题，这与Hadoop适合“一次写入、多次读取”的特性相吻合；Hadoop对硬件设备要求很低，并且系统开源，因此，可以大幅降低上网记录数据存储的软硬件成本；上网记录数据增长迅速，而Hadoop集群易于快速扩展。由此可见，Hadoop是解决上网记录数据存储和后续处理的最佳选择。
3 移动用户上网记录查询系统
3.1 系统的实现
构建上网记录查询系统首先要面对移动用户上网记录数据从哪里采集的问题，移动数据网络的设计通常包含一个网关设备。以GSM/WCDMA网络为例，GGSN是移动分组域核心网与互联网之间的网关设备，GGSN一面与移动网络侧的SGSN相连接（在3GPP规范中定义为Gn接口），一面与互联网相连接（在3GPP规范中定义为Gi接口）。Gn和Gi接口是用户所有上网数据的必经通道，不同的是移动网络侧的Gn接口采用GTP协议（GPRS Tunneling Protocol，GPRS隧道协议），除用户流量外，还承载着移动网络管理所必须的信令信息。
数据入库子系统完成了记录入库功能。每当有新的上网记录文件到达时，读取文件中的上网记录，完成必要的校验核对，入库至“数据存储子系统”中，并根据预定的策略定期删除。数据存储子系统基于开源Hadoop和HBase，并进行了创新改造，构建了全国集中的大数据平台，存储全国所有用户的上网记录信息。数据查询子系统的主要功能是完成上网记录查询。根据服务对象，分为两大部分：一部分提供给最终客户，实现自助查询；另一部分提供给客服人员，解决流量投诉问题。用户可以进行多种方式的查询，按用户号码、上网方式、时间段、网络承载类型、业务类型、信息类型以及按以上各种条件进行组合查询。此外，系统还包括必备的管理功能，如用户管理、权限管理、系统监控等。
3.2 系统部署
移动用户上网记录数据采用总部集中存储的方式进行部署。这主要基于如下考虑：（1）技术上可行；（2）资源利用更加集约化，可以有效节约投资；（3）数据集中才可以有效发挥大数据的威力，从数据挖掘中发现更高的价值。因此，移动用户上网记录查询系统分成两个部分，即总部集中的以上网记录为核心的大数据平台和查询系统、以及遍布中国联通全国31个省分公司的采集系统。总部大数据平台（一期工程）包含178个数据节点（DataNode）、3个名字节点（NameNode）、7个Zookeeper节点和1个集群监控节点。
结束语
在当前信息时代下，移动公司发展越来越快，提供的业务也越来越多，但是移动运营商受到的数据流量投诉也比较多，这主要是因为很多用户对移动公司数据流量的计量方法不够了解，对流量的计量单位也不理解，对产生的上网资费有着较大的疑问。为了提高用户的满意度，移动公司需要改变以往的上网记录查询方式，在采用大数据处理技术后，有效的提高了工作效率，而且降低了数据处理的经济费用，其可以向用户提供详细的上网记录查询单，可以使用户对上网情况更加了解。
参考文献
[1]王志军，黄文良.面向移动互联网的业务创新生态环境研究[J].电信科学，2012（3）.
[2]耿华，孟祥武，史艳翠.一种基于信任度和链接预测方法的移动用户偏好预测方法[J].电子与信息学报，2013（12）.
[3]尚文刚，吴华，赵斌.具有信息补偿的移动用户群挖掘算法[J].计算机工程与应用，2010（11）.