安全范围扩大带来的挑战
在过去的十年中，很多组织都在安全信息与事件管理（SIEM）系统投入大笔资金。SIEM系统无需分析师手动分析关联事件，可自动识别与管理安全事故。当前，在传统安全数据中应用关联规则已经远远不能满足需求了。安全问题已经从监测周边环境转移到保护用户，减轻风险就意味着必须时刻关注网络、服务器、操作系统以及应用层的数据。预测什么样的数据源将会给安全分析员带来麻烦，这不是一件容易的事。同样地，若要通过扩展安全信息与事件管理系统而获取所有数据，这也是很困难的。同时，网络攻击者隐蔽性增强，检测IT设备难以区分安全相关事件与“网络攻击事件”，而加强SIEM关联规则往往导致每天出现成千上万的错误报告。深陷于海量数据的安全专家正寻找新的工具，使人类能够定义数据关联关系，以便整理所用的数据。
Splunk+SIEM解决方案
Splunk与SIEM融合后，用户能够在发送子集到SIEM做进一步关联分析的同时，利用所有的IT数据监测整个基础架构。首先，Splunk收集和保存所有计算机上的事件且无需将事件标准化成固定模式。接着，Splunk能够发送原始数据或结构化事件至SIEM。Splunk与ArcSight公司合作，能够提供通用事件格式（CEF）的实时数据流。通过Splunk+ArcSight解决方案，组织在整合连接器表面区域，卸载ESM进程和消除对独立记录器存储设备的需求的同时，可以在几千兆字节的数据中寻找特定模式与关系。
正如上图所示，Splunk能够收集并长期保存数据，深入分析事件，以及通过基础架构提供动态度量和报表。Splunk发送CEF格式的实时数据流至ArcSight。SIEM用规则把这些事件关联起来，可操作事件在ESM控制台以警报形式呈现。分析师会审查这些警报，在必要时才回去审核故障单，处理响应。为了调查与分析事件，安全团队可通过Splunk迅速获取原始数据。
SIEM面临的挑战
SIEM承诺实现决策自动化，以减少分析师审查的数据量。为实现这一承诺，SIEMs采用状态机与复杂的管理规则。拓展SIEM可以覆盖更大的数据量，能够检测攻击中更为微弱的信号，但这也会带来下列挑战：
- 可拓展性—— SIEM拓展代价较大，对于组织需要收集与处理的数据量，通常SIEM都会达受到体系结构拓展的限制。SIEM部署很可能需要一个数据库管理员（DBA），以便进行数据库持续维护与性能优化。
- 数据收集与标准化——处理非结构性的数据是一个长期挑战。SIEM需要依靠自定义分析程序（如，ArcSight连接器），将数据标准化，形成固定的模式。应用程序日志（自定义、标准产品）没有依循特定标准格式，依具体情况发生变化。为更好地支持新的数据格式，一些SIEM供应商要求专业服务协定，而一些SIEM供应商反对用户创建自己的分析程序。
- 实现与调整——捕捉所有潜在攻击的关联规则与产生过多错误警报的关联规则之间很难取得平衡，而二者的调整通常需要投入专业服务与长期经费。产业分析师说：“调整需耗时一年。”
- 趋势与分析——SIEM通常都有固定形式的报告，但新报告的标准不够灵活，无法适应不断变化的外部环境。固定形式的报告最初看起来可能很有用，也可能非常完美，但如果仅仅依靠固定形式报告来了解从边缘路由器至应用程序的安全事件的端对端含义是无法达到预期效果的。
- “基于规则”方法——向安全分析师呈递某一关联安全事件时，分析师很可能会减少审查警报所报告的数据源。人们往往忽视细微的迹象或信号，因为它们不适合预先存在的模式，而SIEM强化了这一趋势。“基于规则”方法只支持向前查看安全数据；因为与旧规则不符合的事件已经被删除，所以如果关联规则发生错误，则不能调整模式，也不能重新分析数据。
为什么选择Splunk
无需过滤或压缩数据量，Splunk用户便可快速处理系统所产生的所有数据。Splunk将所有事件存储于采用IT数据特有实时索引算法的文本文件。用户可通过包含多重分析命令的自然搜索语言对所有事件进行查询。这种搜索机制能够从事件中提取信息，生成视图、警报与图表，还能够捕获与显示实时数据。Splunk的主要优点如下：
- 超越SIEM–Splunk是行业内第一家使用‘Map-Reduce’的编程模型（Google最早），能够处理商品机的大量对比报表，在一个地方实时进行。Splunk每天的索引量可超过1TB。
- 关注除传统安全日志外更广泛的IT数据——Splunk能够收集各种格式的数据，无需分析器或连接器。所收集的数据包括自定义应用程序日志与其他非传统数据源，如注册表更改、性能指标、进程表与文件系统更改。
- 减少审查时间——用SIEM创建了警报，那下一步呢？答案就是Splunk。通过使用Splunk，安全分析师能够在组织内获取所有IT数据，对审查进行后续跟踪，审查包括从防火墙、侵入检测系统到服务器、操作系统以及应用程序，这期间无需跳转到其他任何工具。通过把取证调查的时间从几天或几个小时缩短到几分钟，Splunk减少了应急响应成本，同时，由于攻击窗口变小，风险也随之降低了。
- 无与伦比的分析能力——Splunk帮助用户迅速发现数据中的新关系，提供了超过80种分析命令，用于控制与发现数据意义。这些命令包括统计工作，如“k-means”算法，还包括会话分析操作，如“交易”。完整的查询语言适用于历史数据，也可实时运行。用户可查询任何关于数据的问题，在数据摄取过程中无需事先制定计划，也无需调整后端架构。可立即生成搜索结果预览，因此分析师能够立即开始审查，无需等待所有查询结果。
- 支持“基于模式”的安全策略——在2009年，加特纳开展了一项新的研究——“基于模式策略”。该研究适用于所有业务活动，包括安全问题。“基于模式策略”包括三个部分：
- 搜寻——分析各项活动，获取存在潜在风险信号的模式。
- 模型——进行分析与评估，通过对影响进行定性定量分析，确定哪种模式对组织造成更大风险。
- 适应——对于上述阶段已经发现与认定的威胁，采取措施保护用户、账户、数据以及基础架构免受侵扰。
Splunk可完美支持这些新策略。用户可以在日志数据中“搜寻”新的有可能对业务带来风险的活动模式。通过使用Splunk分析命令，用户可“塑造”那些风险模式，保存为Splunk查询，“适应”新情况，通过设定查询，实时监测风险模式，减小新的风险。“基于模式策略”很好地补充了SIEM提供的“基于规则”状态机技术。
ArcSight组件概述
本部分将简要介绍ArcSight组件。ArcSight是SIEM特有的日志采集部件，负责保存数据并转发至关联引擎。其他供应商有类似的架构，但每种组件的名称不同。
CEF——通用事件格式用作ArcSight平台的标准正常化格式。同时，它还作为公开日志标准，基本格式如下：
CEF：版本/设备供应商/设备成品/设备版本/签名ID/命名/严重性/扩展名
扩展名部分包含大量应用程序的特定信息。一些扩展域已经有了标准格式，如“user”与“src”，而其他扩展域可以自定义，可以是赋值名字，如cs1、cs1Label、cn1、cn1Label——其中“cs”表示自定义字符串，“cn”表示自定义数字。
连接器——连接器负责收集事件，将事件的格式符合通用事件格式，并将标准化后的事件全部发送到ArcSight组件中。连接器也可进行事件过滤、事件信息缓存以及网络带宽调节。对于不同事件格式，有多种版本的连接器（截止至2010年，有超过275种）。对于不支持的格式，用户可以编制程序设计灵活连接器，这就需要开发人员许可，难度也很大，特别是对于多线路应用程序日志。在本文件中，我们强调通用事件格式的连接器与系统日志连接器，后者被用于将通用事件格式的事件传输到系统日志信息中。
记录器——这是ArcSight的事件保存组件，可作为仪器工具使用。它可以接收连接器的标准化数据，或系统日志、文件的原始数据。根据数据是属于结构性的或是非结构性的，记录器在后端数据库或者在展开文件索引中保存事件（上述操作是通过使用基于原始码开放的Lucene项目的改良搜索引擎）。记录器无法发送非线性数据报告，也无法跨仪器发送报告。记录器仅支持五种警报的发送。
ESM——企业安全管理员是SIEM。它接收CEF格式数据，进行事件关联管理与发出警报，允许分析师管理应急响应工作流程，并发送报告。ESM接收标准化事件，确定哪些事件是相关联的，运用贝叶斯逻辑等算法技术，定量分析不确定因素与决策树（即“关联规则”），最终确定是否接受数据。有关联的事件将被保存于甲骨文数据库中，而没有关联的事件将被丢弃。调整能够把误差降至最低，但不能彻底消除误差。安全分析师利用ESM控制台的工作流程功能，花了大量时间区分调查的优先顺序并进行相应管理。
Splunk数据导入
现在，我们从数据采集的层面展开讨论。如果现有ArcSight收集基础架构准备就绪，那么Splunk就能够从ArcSight连接器接收原始系统日志或CEF标准化事件，从而进行数据的整合。对于当前未收集的数据，甚至包括当前利用其他工具已收集的数据，Splunk有下列诸多优势：
- 无论事件是在传输过程中还是已存储在磁盘上，通常Splunk能够保存事件的原始形式。一些多线程事件，如Windows事件日志与Java堆栈轨迹，在传输过程中都不会被转换成单线程信息。通常事件将写入磁盘文本文件，而不是插入到数据库或以专有格式锁定。
- Splunk支持各种格式的数据，所以无需为新产生的数据类型而考虑投入其他资金。在数据格式发生变化时，无需购买分析器或更新设备。无需每个源许可模式。
- 简单的数据收集架构。无需部署、维护生成数据的系统与Splunk之间的标准化层（如，ArcSight连接器）。只需要将事件传输到Splunk索引器，在Splunk索引器中也支持发送非结构性数据报告。
- 获取任意IT设备生成的数据。为了获取数据，Splunk提供下列输入功能：a）在网络上监听TCP与/或UDP数据流；b）精简本地日志文件或目录；c)检索配置文件的整个目录；d）监测本地磁盘，以便进行文件创建、删除或修改；e）整理系统使用程序的性能指标。Windows特有的输入功能使Splunk具有如下功能：f）收集Windows事件日志与效能计数器；g)检测注册表或活动目录架构。最后，Splunk提供了h)脚本输入选项，使用户能够具体规定输出的程序。Splunk将执行这项程序并检索标准输出。脚本输入能够拓展Splunk，用于获取二进制数据，如网络流技术与snmp陷阱，或在数据库中查询事件。其他通用例子是用于检索系统使用程序的输出，如ps、top、vmstat与netstat。
- 加强数据收集器的绝好机会。在很多情况下，对于能够通过syslog等网络协议探索的或通过WMI等程序界面检索的数据，Splunk无需代理软件即可进行检索。对于其他数据，Splunk可以代理模式（“轻量forwarder”）安装于代理操作系统中进行检索。forwarder的特点是具备上述所有输入选项，并能够安全地确定数据路径，有效使用位于TCP的SSL协议。轻量级forwarder的程序记忆空间大小为50MB RAM，占1%CPU，支持网络调节。另外，Splunk收集的时间可以任何格式发送至第三方。一个Splunk代理能够为多个工具提供数据。
Splunk至ArcSight的流数据
Splunk采用流式运输的方式，能够通过以下两种方式将数据传输至ArcSight：在转位时间调用原始事件或者在搜索时间发送转化事件。索引时间输出只能用于ArcSight支持的数据，事件必须按规定路径发送至相应的ArcSight连接器。索引时间法灵活性较差，但容易安装与维护。搜索时间输出灵活性好，可完整利用Splunk搜索语言选择待发送的事件子集，还配置了在事件发布之前，如何重新设置事件格式的方法。可以合并这两种方法；举个例子，Splunk可从Linux服务器收集多个数据流，如CPU度量，更改passwd文件，更新检查日志等，然后在转位时间只确定系统日志事件（如，检查日志）的路径，同时使用搜索时间确定其他事件（如，占CPU容量50%以上的程序）子集的路径，并按CEF格式发送。
索引时间输出
为了便于配置索引时间输出，可在索引时间通道插入一个新的输出处理器（从Splunk收到事件到这些事件被写入到磁盘中，通道在整个过程中都对这些事件进行处理）。仅两种输出处理器可用：syslog处理器与tcpout处理器。Tcpout处理器基于TCP协议发送全部原始事件；轻量级代理也是使用同一处理器发送数据到Splunk检索器。Syslog处理器在基于TCP或UDP协议发送事件之前，增加了RFC5424标准报头。
搜索时间输出
对于不规范格式，如应用程序日志，Splunk能够实时把数据转换成CEF格式，并导出到ArcSight连接器。Splunk能够帮助用户避免创建自己的FlexConnector连接器。CEF输出架构功能如下所示：
- 首先，在开始检索事件之前，实时搜索应用程序将被用于检查事件。因为这里适用完整的Splunk搜索语言，很容易智能过滤被转发的事件。
- 在发生事件时，架构会重新格式化成CEF（或其他定义格式）。为了构建输出，通过使用Splunk功能（如字段提取与检查），必须提供事件相关信息。提取至Splunk通用信息模型的字段将会被自动转换成标准CEF字段。字段检查丰富了CEF格式元信息事件，如“设备提供商”与“产品”。关于把事件格式设置为CEF的操作，请查阅本文件的收尾部分。
- 最后，事件就被发送至ArcSight连接器中。将把系统预设值作为系统日志发送至Syslog连接器，但Splunk也能够将事件写入本地文件，以便基于软件CEF连接器读取。
将Splunk告警发送到ArcSight
不久之后，Splunk搜索语言即可支持在一个或一个以上数据源中寻找任意复杂的模式。这不仅能将数据的子集按路径发送到ESM进行进一步的关联，还能触发Splunk告警并将其发送到ESM控制台。就适用的模式而言，Splunk比ESM拥有更多的优点；例如Splunk可以通过检查大量的时间窗口事件寻找低而缓慢的威胁，而使用SIEM的内存状态引擎则很难做到这一点。Splunk还擅长重建跨越多个系统和多个日志文件的交易，利用如地理位置信息和资产信息等外部信息丰富数据内容以及利用统计方法检测异常情况。
其他整合流程
最后，许多安全分析师想要将SIEM控制台与原始数据之间进行双向整合。ArcSight难以将ESM告警在记录器中返回原始数据：分析师必须要找到显示应用程序含原始事件的报警字段，再手动把原始事件记录在记录器界面，最后重新构建返回目标事件的查询。然而，Splunk的查询字符串控制的永久链接功能可通过一键式深入搜索完成工作。
结论
Splunk不是一项安全信息与事件管理技术。它不提供一个显示警报的控制台，也不允许分析师创建回复权证。Splunk也不提供一个内存状态机来执行事件关联操作，但这并不表示Splunk不能进行实时的复杂分析。SIEM和Splunk各有其长处。
Splunk的功能创新体现在Splunk是建立在搜索和索引技术的基础之上，而SIEM则建立在解析器、模式和数据库技术之上。Splunk提供一个简单的类似Google的界面，让您在几千兆字节的数据中找到所需的信息。凭借搜索机制，Splunk还可以在复杂的条件下进行统计分析和报警并生成报告，所有这些操作都不需要一个后端数据库。
这对构架师来说就意味着他不用再烦恼如何解析数据以使数据适合专有的模式（即不再需要ArcSight连接器）。有了Splunk，用户只需将事件原封不动地传送到索引器。这一点对面临新报告要求的最终用户尤其重要。当仅拥有一个SIEM工具，用户要依赖已经正确解析的相关事件来生成报告，因为记录器和ESM不能报告非结构性数据。当出现解析错误时，用户则完全无法生成报告。有了Splunk之后，用户可以在搜索时即采用特殊的结构并使用外部信息丰富事件的内容，从而创建新的报告和仪表板定义。
对于那些想要一个更加完整、可扩展以及更灵活的时事件分析方案的ArcSight ESM客户，Splunk能够代替记录器并向ArcSight ESM输入数据，支持分析师进行分析。对于那些拥有其他SIEM产品的客户，Splunk能够将数据串成系统文件或原始TCP。
