网络安全分析的大数据技术应用.docx

网络安全分析的大数据技术应用 【摘要】网络安全不但会影响到个人信息的私密性，严重的还会影响到国家信息的安全。而现阶段信息网络技术发展越来越快，需要分析的数据高速增长，且表现出愈加明显的分散化、多样化趋势,进而在很大程度上增大了网络安全分析的难度,更对网络安全管理技术提出了新的挑战,在这样的形势下，迫切需要引入大数据技术来进行网络安全分析,以满足复杂环境下对网络安全的需要。 【关键词】网络安全;大数据技术;应用 一、引言 随着信息技术的发展，计算机网络技术在各行各业中的应用越来越广泛,随之引发的网络安全问题也开始引起人们的关注。在信息时代，网络安全问题逐渐引起人们的重视，其不但会影响到个人信息的安全，还会影响到国家信息的安全。而随着计算机网络技术的飞速发展，网络安全分析的数据变得越来越复杂，数量越来越庞大，数量级已从TB迈向PB，涉及到的范围越来越广泛；硬件设备的性能不断提升，对信息的传输速度要求越来越高；且表现出越来越明显的分散化趋势,此外，对网络的攻击行为也变得越来越频繁，要求进一步加强对网络安全的维护。总的来说，现今网络安全分析的难度越来越大,对网络安全管理技术的要求不断提高,在这样的形势下，迫切需要引入新的技术来进行网络安全分析,以满足复杂环境下对网络安全的需要。2013年，Gartner分析数据表明，未来信息架构的发展必将以大数据技术为主导，其已在多个行业领域获得了广泛的应用。实践表明，大数据技术具有处理速度快、覆盖范围广等优点，能够完全满足网络安全分析中对数据的高效率、大容量的要求。 二、网络安全分析中大数据技术的应用 当前来说，网络安全分析面向的主要对象是日志和流量，同时还有配置、漏洞、访问、用户行为、外部报告等相关联的辅助信息。通过应用大数据技术，将过于分散的日志与流量等汇集起来，采用更为高效的采集、存储、检索、分析等手段，提升网络安全分析的效率，减少花费的时间。同时，采用关联分析等技术手段，进一步挖掘安全事故之间的内在联系，对安全漏洞、网络攻击等安全事件进行预测，不断提升网络安全性。 （1）对于信息的采集。一般来说，可以使用Chukwa等进行数据采集，通过应用分布采集的方法对重要的日志信息进行全面的采集；利用常规的数据镜像的形式，可以实现全流量数据的有效采集。 （2）对于信息的存储。当前的数据类型及其应用形式越来越复杂，要想满足全方位的分析需求，并提升检索与分析的效率，就要采取更具针对性的存储手段来存储对应的数据。如果是供检索的原始安全数据，包括日志信息、流量数据等，可采用GBase、Hbase等列式存储手段，其能够实现快速索引，对数据检索予以及时的响应。如果是进行标准化处理后安全数据，可利用Hahoop分布式进行构架计算，将相应的数据置于对应的节点上，利用Hive等实施脚本分析，对安全数据进行挖掘，得到详细的分析报告，再将结果放置于列式存储中。如果是需要进行实时分析的安全数据，可采用Storm、Spark等流式计算手段，将相应的数据置于对应的节点上，当数据流经过节点时，自动对其进行分析，得到详细的分析报告，再将结果放置于流式存储中。 （3）对于信息的检索。对于数据的检索可以采用基于MapReduce的技术架构，将数据查询的请求发送到各个节点进行处理，通过分布式的并行计算，进一步提高数据信息的检索速率。 （4）对于数据的分析。一般来说，可采用Storm或者Spark等架构为基础来进行数据的分析，并结合复杂事件处理方法等。通过