什么是设备数据？

对于Splunk,我们谈论较多的是设备数据。所谓的设备数据是指应用程序、服务器、网络设备、安全设备及其他业务运行系统产生的所有数据。

定义

这些设备数据记录了客户、用户、交易、应用程序、服务器、网络设备等对象的活动及行为，不仅包括日志，而且还包括随机事件、诊断命令输出、应用程序界面及信息队列所产生的数据等。设备数据所涵盖的日志数据类型比网络安全更广。Splunk建立了以合规性为导向的日志管理系统以及安全信息与事件管理系统(SIEMs)专门处理这些数据。Splunk用户都知道：日志格式有数千种，大部分由自定义应用程序产生。这些日志在诊断服务问题，发现复杂安全威胁及体现合规性等方面发挥着重要作用。我们将在下文简单介绍几种重要的设备数据源以及其中关于IT基础构架、用户或潜在攻击者行为的信息。不过请记住，这仅仅只是了解设备数据的一个起点。在不同环境中，设备数据的特性不同，日志仅仅只能反映部分问题。

  • 应用日志

    • 多数国产套装应用程序往往通过中间设备的内置日志记录服务对本地日志文件进行写入操作，此处的中间设备指WebLogic、WebSphere、JBoss、Net、PHP等J2EE应用服务器。这些日志文件在开发商进行应用程序生产、日常调试和应用支持的过程中起着至关重要的作用。另外，由于这些日志文件中包含交易的全部详细信息，因此它们也是报告业务、用户活动以及发现欺诈情境的最佳方式。开发商将时序信号输入其日志事件后，日志事件也可用于监督和报告应用程序性能。

  • web 访问日志

    • Web访问日志可报告Web服务器所处理的每个访问请求——访问请求来自哪个客户IP？客户请求访问哪个URL？该URL是什么？访问成功与否？这些信息经处理后会生成web分析报表，具体涉及每日访客数、访问最多的网页等信息，可作为市场营销的参考信息。
    此外，由于客户访问请求失败的日志可记录系统出错的确切时间，因此，这些信息也是调查客户反馈问题的基础，非常宝贵。Web访问日志形式标准，结构良好，唯一的缺陷是数量庞大，这主要是由于网页点击量日逾10亿，极度繁忙。

  • Web代理服务器日志

    • 几乎所有的企业、服务提供商、单位及政府部门都为其员工、客户及客人提供Web访问服务，并且他们大多会使用特定的Web代理服务器对Web访问进行监督控制。用户通过Web代理服务器提出Web访问请求后，代理服务器将这些访问请求记入日志，其中可能包括企业客户名及URL点击情况。这些日志对“服务条款”滥用情况或企业web使用策略以及数据泄漏的有效监督调查起到至关重要的作用。

  • 呼叫详细记录

    • 电子通讯装置及网络交换机记入日志的事件通常被称为呼叫详细记录（以下简称CDR记录）、计费数据记录或事件数据记录。CDR记录中包含了（通过交换机进行的）呼叫或服务的有用信息，如呼叫次数、呼叫接收次数、呼叫时间、呼叫时长以及呼叫类型等。随着通讯服务逐渐向基于互联网协议的服务进行转变，CDR记录也被称为IPDR记录（互联网协议详细记录），并新增了IP地址、端口数等信息。不同IPDR记录的写入规范、格式及结构差别很大，一直很难与排列保持同步。然而，IPDR记录中所包含的数据对于开票、收入保障、客户管理、合伙人清算、营销情报等具有重要意义。对此，Splunk能够快速索引数据并整合其他业务数据，从而为用户提供丰富的可用信息。

  • 点击流数据

    • 点击流数据可汇总网站上的网页使用情况，反映出用户当前在做什么，因此有利于使用情况分析、营销研究以及一般性研究。该类数据格式并不规范，可由web服务器、路由器、代理服务器以及AD服务器等进行记录。现有监测工具仅可从特定角度对该数据（从特定来源获得）进行监测，而现有web分析及数据库产品通常也只对数据进行抽样检查，并未对用户行为进行全面检查，因此，无法进行实时分析。

  • 信息队列

    • 信息队列技术（如TIBCO、JMS、AquaLogic等）一般通过发布或订阅的形式在服务组件与应用组件之间传输数据与任务。订阅信息队列是调试复杂应用程序问题的好方法。用户可以很清楚地看到信息队列中下一个组件从上一个组件接收到信息。此外，信息队列还越来越多地用作记录应用程序结构的主要手段。

  • 分组数据

    • 数据经tcpdump、tcpflow等工具处理后生成pcaps数据以及其他有用的分组类和会话类信息。这些信息在处理性能退化、超时、障碍或可疑活动（该可疑活动显示网络可能受到攻击）时是必不可少的。

  • 配置文件

    • 当前活动的系统配置是了解网络构架如何建立的唯一途径。以往的配置信息仅用于调试过去发生过且将来可能再次发生的系统故障。系统配置发生变化时，必须了解变化的内容，变化的时间，变化是否经过授权，攻击者是否通过Backdoor、“定时炸弹”或其他潜在威胁攻击系统。

  • 数据库审查日志与数据库审查表

    • 数据库中包含了一些敏感的公司信息——客户资料、财务资料、病历记录等。数据库查询审查记录对于了解数据访问者或更改者身份、被访问或更改的数据内容以及访问或更改时间等信息至关重要。数据库审查日志有助于了解应用程序如何使用数据库对查询进行优化。一些数据库将审查记录写成文档，而另一些数据库则生成可通过SQL进行访问的审查表。

  • 文件系统审查日志

    • 敏感数据一般不存储于数据库中，而是存储于共享的文件系统中。在像医疗保健行业这样的行业里，面临最大泄漏风险的文件是共享文件系统里的消费者记录文件。不同的操作系统、第三方工具以及存储技术为文件系统敏感数据的读取访问提供了不同的审查方式。在对敏感数据访问方式进行检测和调查时，这些审查数据是重要的数据源。

  • 系统管理与日志应用程序界面

    • 越来越多的供应商选择通过标准的专有应用程序界面公布其重要的管理数据及日志事件，而非将其写入文档。例如，Checkpoint防火墙通过OPSEC日志导出应用程序界面（简称OPSEC LEA）进行日志管理，而VMwar、Citrix等虚拟技术供应商通过其自行研发的应用程序界面公布其配置信息、日志及系统状态。

  • 操作系统指标、系统状态及诊断指令

    • 操作系统通过命令行程序（如Unix和Linux系统中的ps和iostat程序以及Windows系统中的perfmon程序）公布CPU、内存利用率等重要指标。服务器检测工具经常使用这些数据，但使用时间通常不长。但是，在故障处理，趋势分析，发现潜在问题以及调查安全事件时，这些数据的潜在作用巨大。

  • Syslog、WMI等

    • 除上述设备数据源之外，其他有用且重要的设备数据源还非常多，如源代码存储日志、物理安全性日志等。另外，用户还须使用防火墙及IDS日志报告网络连接与网络攻击情况。操作系统日志包括Unix和Linux系统日志以及Windows事件日志，记录了在服务器写入日志者相关信息、他们采取的行政措施、服务开始与结束事件以及内核出错的时间。DNS、DHCP以及其他网络服务的日志中记录了IP地址的获得者、具体IP地址以及域的解析方法。路由器、交换机及网络设备的系统日志记录了网络连接状态以及主要网络部件的故障问题。但值得注意的是，除了日志之外，Splunk还能提供其他类型的设备数据，且与传统的日志管理处理方案相比，Splunk能够支持更多不同类型的日志。





免费下载，感受Splunk的无尽魅力！