日常生活中存在着很多二分网络结构,譬如用户-域名网络,云服务中相互承载的源IP-域名网络等等。二分网络中存在着社团结构,基于社团结构的网络分析比基于节点的网络分析更为高效。同时,社团结构的发现可以检测出匿名网络中潜在的威胁,这对二分网络的管理以及分析意义重大。但是随着大数据时代的降临,企业每天产生的日志量呈爆炸式的增长,传统的社团发现方法并不能适用于长时间尺度内海量的日志数据,这使得对长时间尺度内二分网络内的社团发现变得愈发的困难。所以本文以大数据背景下的二分网络为研究对象,设计并实现了长时间尺度内二分网络社团发现系统,该系统通过对实时高速海量的用户上网日志进行接收以及处理,实现了高速海量日志下的聚合关系查询技术,然后基于聚合数据进行加权二分网络中的社团发现。具体工作主要包括如下:首先,系统搭建了基于ELK框架中的Logstash集群,用于接收、预处理高速海量的实时用户上网日志,本系统只针对日志中最普遍的三个字段,以源IP、目的域名、时间戳将数据流进行标识。系统采用Kafka作为分布式消息队列,MongoDB作为底层数据库,采用SparkStreaming作为分布式计算引擎消费Kafka中的数据,完成了数据在内存中、入库前、出库前的多次聚合,实现了高速实时日志输入下的数据通信关系的聚合。然后系统针对于离线的用户聚合日志进行二分网络社团发现、系统采用HDFS作为底层数据存储、MapReduce作为分布式计算框架,完成了对聚合数据的单模投影、并行社团发现以及域名节点社团标定,实现了长时间尺度内二分网络中稳定社团结构的发现。最后为了实现聚合关系的快速查询,系统采用了 ELK框架中的ElasticSearch对MongoDB中的数据建立索引,实现了元素聚合关系的快速查询以及社团发现结果的可视化展示。测试结果表明,系统可以对数据进行大规模聚合,使查询实际条数大幅度减少,极大的增快了数据聚合关系查询速度,实现了聚合关系数据的秒级查询。系统可以减少并发插入数据库的数据条数,增加数据传输的可靠性并提升服务质量,基于离线数据的社团发现也可以有效的挖掘出二分网络中的社团结构。