论文部分内容阅读
随着计算机技术及信息技术的蓬勃发展，网络技术使人们的学习、生产、生活发生了深刻变革，网络安全备受关注，运用大数据分析技术是强化网络安全的有效手段。本文从应用大数据在网络安全分析中的重要意义入手，针对数据收集、存储、检索、分析等具体应用进行了深入探讨，以进一步提高网络安全分析与处理效率，促进互联网事业持续、健康发展。
一、网络安全分析中大数据技术应用概述
网络技术的飞速发展促进了各行各业的发展，网络安全问题与人们生活息息相关。信息时代，网络架构日趋复杂，数据信息量和种类巨增，信息采集和处理对数据传输速度提升对网络安全管理提出了更高的要求，传统的基于特征匹配的安全防护技术无法满足当前复杂、多样的网络安全要求。
大数据驱动安全管理是适应复杂网络要求，精确检测分析预警并采取干预防护措施是保障网络安全的有效手段。网络安全分析处理的数据主要包括分析日志和流量，此外还要对访问、用户行为、业务行为等相关数据信息进行分析。大数据技术扩充了网络安全分析系统的数据存储量，通过统筹分析分散性的数据，有效提高数据采集、分析的处理时间，提高网络安全防护的效率和有效性;大数据技术手段有效处理数据存储和计算问题，降低分析成本，保障复杂分析对样本量多样化的要求，通过关联分析进行多维度数据处理保证信息安全性。
二、网络安全分析中的大数据技术应用
大数据技术具有数据量大、速度快、种类多和非结构化的特点，满足网络安全数据分析要求。大数据技术在网络安全分析的作用体现在数据采集、数据存储、数据查询、数据分析和复杂数据分析几个环节构建出大数据网络安全平台，各环节环环相扣，协同作用。
（一）数据采集
网络安全分析的起点是数据采集，有效引入大数据技术是数据网络安全分析的关键。数据采集层主要完成数据的泛化、标准化处理，大数据技术通过Flume、Scribe等工具对海量的用户信息数据、事件以及威胁情报进行高效的分布式采集、整合和传输，以高速、可靠的特点完成日志数据信息的处理，并发往数据存储环节，为网络安全分析提供有力技术支持。
（二）数据存储
网络分析系统中数据到达储存层，数据存储层具有吞吐量高和容错性强的特点，应用大数据技术对不同数据类型的数据采用不同存储方式实现结構化、半结构化和非结构化的信息集中储存，提高数据检索的能力，保证数据存储有序性和检索效率。存储数据应用采标准化存储并计算网络组织构架，在短时间内响应、检索数据。应用列式存储、分布式计算模式，将分析处理结果和分析警告存放于列式存储部位;即时数据则应使用流式计算结果储存到数据库。
（三）数据查询
大数据技术构建查询模块将数据查询的请求主语分成多个节点，运用非结构化的 数据数据查询关键词进行检索，利用分布式指令分别置于节点之中，查询结束后再整合处理结果数据定位，进行快速数据检索追溯存在安全隐患的数据，有效提高数据查询速度，保证网络安全运行。
（四）数据分析
网络分析系统以用Storm、Spark为基础对实时数据展开分析，运用CEP技术、关联分析计算法对实时数据进行监控、分析、处理，将需要分析的数据信息放置在计算节点上，及时发现数据中的异常;针对历史数据开展分析，对时效性要求不高的数据采用Hadoop结构进行深入的数据处理，通过HDFS分布式储存完成捕捉与安全信息、风险分析、攻击溯源等分析了解网络运行状态;采用数据聚合、多元数据、数据挖掘以及数据抽取技术、发散性关联分析从DNS特性和流量全方位复杂数据分析;开展多源数据和多阶段组合，关联不同阶段的行为处理内主机，拓宽数据源查询的路径，完成系统安全隐患和关联性攻击的综合分析进行数据的挖掘和整理，排查攻击源和系统安全漏洞，可视化展示并形成相应的网络安全分析报告，满足网络安全分析工作的需要。
三、大数据技术在网络安全平台建设中的建设
着力建设大数据网络安全平台通过建模分析僵尸网络，恶意域名、Web攻击等安全事件及数据问的关联关系，建立对网络安全事件深入系统的了解，形成可视化安全分析工具，为用户提供安全分析报告和预警服务。网络安全平台广泛采集Netflow、DPI等大网数据和客户端数据，运用恶意域名分析模块、Web安全分析模块和客户安全分析等模块提供安全分析视图，直观反应自身安全状况;利用攻击溯源模块深度挖掘分析网络拓扑信息、路由器端信息，快速回溯击路径，及时发现和抑制。
四、结语
综上所述，大数据技术网络安全分析是强化网络安全管理和数据安全运营的重要手段，工作实践中，管理部门和技术人员要积极推广与应用大数据技术，构建网络安全平台要充分发挥大数据采集、存储、检索、分析作用，加强网络的安全防范技术、提升网络安全防御准确度和效率，保障信息安全。（作者单位：哈尔滨华德学院）
一、网络安全分析中大数据技术应用概述
网络技术的飞速发展促进了各行各业的发展，网络安全问题与人们生活息息相关。信息时代，网络架构日趋复杂，数据信息量和种类巨增，信息采集和处理对数据传输速度提升对网络安全管理提出了更高的要求，传统的基于特征匹配的安全防护技术无法满足当前复杂、多样的网络安全要求。
大数据驱动安全管理是适应复杂网络要求，精确检测分析预警并采取干预防护措施是保障网络安全的有效手段。网络安全分析处理的数据主要包括分析日志和流量，此外还要对访问、用户行为、业务行为等相关数据信息进行分析。大数据技术扩充了网络安全分析系统的数据存储量，通过统筹分析分散性的数据，有效提高数据采集、分析的处理时间，提高网络安全防护的效率和有效性;大数据技术手段有效处理数据存储和计算问题，降低分析成本，保障复杂分析对样本量多样化的要求，通过关联分析进行多维度数据处理保证信息安全性。
二、网络安全分析中的大数据技术应用
大数据技术具有数据量大、速度快、种类多和非结构化的特点，满足网络安全数据分析要求。大数据技术在网络安全分析的作用体现在数据采集、数据存储、数据查询、数据分析和复杂数据分析几个环节构建出大数据网络安全平台，各环节环环相扣，协同作用。
（一）数据采集
网络安全分析的起点是数据采集，有效引入大数据技术是数据网络安全分析的关键。数据采集层主要完成数据的泛化、标准化处理，大数据技术通过Flume、Scribe等工具对海量的用户信息数据、事件以及威胁情报进行高效的分布式采集、整合和传输，以高速、可靠的特点完成日志数据信息的处理，并发往数据存储环节，为网络安全分析提供有力技术支持。
（二）数据存储
网络分析系统中数据到达储存层，数据存储层具有吞吐量高和容错性强的特点，应用大数据技术对不同数据类型的数据采用不同存储方式实现结構化、半结构化和非结构化的信息集中储存，提高数据检索的能力，保证数据存储有序性和检索效率。存储数据应用采标准化存储并计算网络组织构架，在短时间内响应、检索数据。应用列式存储、分布式计算模式，将分析处理结果和分析警告存放于列式存储部位;即时数据则应使用流式计算结果储存到数据库。
（三）数据查询
大数据技术构建查询模块将数据查询的请求主语分成多个节点，运用非结构化的 数据数据查询关键词进行检索，利用分布式指令分别置于节点之中，查询结束后再整合处理结果数据定位，进行快速数据检索追溯存在安全隐患的数据，有效提高数据查询速度，保证网络安全运行。
（四）数据分析
网络分析系统以用Storm、Spark为基础对实时数据展开分析，运用CEP技术、关联分析计算法对实时数据进行监控、分析、处理，将需要分析的数据信息放置在计算节点上，及时发现数据中的异常;针对历史数据开展分析，对时效性要求不高的数据采用Hadoop结构进行深入的数据处理，通过HDFS分布式储存完成捕捉与安全信息、风险分析、攻击溯源等分析了解网络运行状态;采用数据聚合、多元数据、数据挖掘以及数据抽取技术、发散性关联分析从DNS特性和流量全方位复杂数据分析;开展多源数据和多阶段组合，关联不同阶段的行为处理内主机，拓宽数据源查询的路径，完成系统安全隐患和关联性攻击的综合分析进行数据的挖掘和整理，排查攻击源和系统安全漏洞，可视化展示并形成相应的网络安全分析报告，满足网络安全分析工作的需要。
三、大数据技术在网络安全平台建设中的建设
着力建设大数据网络安全平台通过建模分析僵尸网络，恶意域名、Web攻击等安全事件及数据问的关联关系，建立对网络安全事件深入系统的了解，形成可视化安全分析工具，为用户提供安全分析报告和预警服务。网络安全平台广泛采集Netflow、DPI等大网数据和客户端数据，运用恶意域名分析模块、Web安全分析模块和客户安全分析等模块提供安全分析视图，直观反应自身安全状况;利用攻击溯源模块深度挖掘分析网络拓扑信息、路由器端信息，快速回溯击路径，及时发现和抑制。
四、结语
综上所述，大数据技术网络安全分析是强化网络安全管理和数据安全运营的重要手段，工作实践中，管理部门和技术人员要积极推广与应用大数据技术，构建网络安全平台要充分发挥大数据采集、存储、检索、分析作用，加强网络的安全防范技术、提升网络安全防御准确度和效率，保障信息安全。（作者单位：哈尔滨华德学院）