用开源组件搭建一套SIEMSOCSOAR平台
目录
用开源组件搭建一套SIEM/SOC/SOAR平台
2019年到21年，团队9个人齐力开发了一套内部的信息安全管理平台，包含了市场上常见的SIEM/SOC/SOAR的设计思想，也包含了类似于EDR（终端安全检测与响应）/SDL（安全开发生命周期管理）/SCA（开源组件分析）的部分功能，算是大而全的一套东西，功能上做的并不深入，但是因为深入贴合业务，所以也解决了实际的问题。
最近换了一家公司，也有类似的需求，由于人力原因，于是考虑使用开源的一些工具去构建。结合AWS云的现有生态，也参考了SELKS、SIMEONSTER、OSSIEM等优秀的开源SIEM工具。做了一个大致的组件分析。
计划使用如下的部分组件，通过轻代码连接的方式，构建一套开源的信息安全平台。 更多组件还在调研中。初步规划使用SELKS+其它开源组件完成整个SIEM的构建，灵活性和功能一步到位。看官们有更优秀的开源工具欢迎留言沟通交流
| 组件 | 功能 | 描述 |
| logAgent | 日志采集插件 | Winlogbeat windows日志采集 Filebeat (Windows, Linux & Mac) Logstash 日志采集 SysLog等等 |
| kafka（已使用） | 消息队列 | Kafka 消息队列（日志队列） |
| Apache NIFI | 数据同步/日志泛化 | Apache NIFI是一个易于使用，功能强大且可靠的数据拉去，数据处理和分发系统 NiFi 用于从 Kafka 消息队列中获取传入的事件日志数据。为不同的端点类型提供了各种模板， |
| airflow | 数据同步/日志泛化 | 和NIFI对比，暂未测试 |
| ElasticSearch（使用opensearch替代） | 日志存储+检索 | 日志存储+检索 |
| ElastAlert（已使用） | 规则匹配告警 | ElastAlert 是由 Yelp 发起的项目，为 Elasticsearch 提供告警机制。ElastAlert 通过 REST API 查询 Elasticsearch 并有多个输出来匹配告警。 |
| OpenSCAP（采用wazuh的自动化扫描插件） | 基线管理 | https://www. open-scap .org/tools/ openscap -base/OpenSCAP 免费开源的自动化扫描，基线核查，报告和自动修复工具。搭配基线库，可以完成PCI-DSS/GDPR等系统安全极限评估和监测要求 |
| Wazuh（已使用） | 安全监控/入侵检测 agent支持win/mac/linux （需要全设备安装） 自带安全事件监测组件： Wazuh: PCI DSS Wazuh: OSSEC-开源入侵检测系统-HIDS Wazuh: GDPR Wazuh: Ruleset 检测规则 Wazuh: Dev Tools 与ES交互 | Wazuh 是一个开源安全监控解决方案，用于收集、分析主机安全数据。Wazuh 是 OSSEC 项目的分支。Wazuh 组件与 Elasticsearch 和 Kibana 的整合度很高，可以用来执行许多与安全相关的任务，如日志分析、Rootkit 检测、监听端口检测、文件完整性检测等。他 们可以检测隐藏的文件、隐藏的进程或者未注册的网络侦听器，以及系统调用响应的不一致性。除了代理能力之外，服务器组件还使用一种基于签名的入侵检测方法，使用其正则表达式引擎分析收集的日志数据并寻找妥协指标。Wazuh 代理提取软件库存数据并将这些信息发送到服务器，在服务器上与不断更新的 CVE (Common vulnerability and Exposure)数据库相关联，以识别众所周知的易受攻击软件。自动化漏洞评估可以帮助你找到关键资产中的弱点，并在攻击者利用它们破坏你的业务或窃取机密数据之前采取纠正措施。 |
| TheHive | 应急响应平台/安全事件响应平台（告警管理平台） | TheHive 是一个可扩展的、开源、免费安全应急响应平台，旨在让任何安全从业人员能够轻松地处理安全事件，并快速地采取行动。本质上讲 TheHive 是一个告警管理平台，用于管理全部事件告警。 |
| Cortex | 数据分析引擎 MISP搜索分析器 | hive、Cortex和MISP可以很好地协同工作 Cortex 与 TheHive 是一个团队开发的产品。Cortex 使用分析器获取日志中有关指标信息的其他数据。允许在第三方服务中查询 IP、URL 与文件哈希等指标，并将第三方返回的结果作为附加信息丰富告警事件。 使用TheHive的python API插件TheHive4py，将结果发送到TheHive安全事件响应平台 Cortex4py 是 Cortex 的 Python API 客户端，TheHive可以钓用获取数据分析 |
| Patrowl（已部署，暂未使用） | Patrowl 安全编排工具 | 安全行动，如渗透测试，漏洞评估，代码检查，合规检查,网络威胁情报/狩猎和 SOC & DFIR 行动，包括:全栈安全概述(IP 到数据)，定义威胁情报和漏洞评估扫描策略使用量身定制的引擎进行协调扫描，收集和汇总发现，检查补救的有效性。将资产风险价值与脆弱性相关联，使业务智能与 SIEM 更紧密地结合在一起。patrowl 与 Cortex 和 TheHive 集成。用于评估的资产可以使用资产导入功能单独添加或批量添加。 |
| MISP MITRE Att&CK（已使用） | 开源威胁情报共享平台 威胁情报 | MISP 是 CIRCL 维护的开源威胁情报共享平台，其 Feed 可以是某个组织提供的付费订阅，也可以是社区维护的开源订阅，这也是数据丰富的主要来源。 |
| Suricata（已使用） | IDS | Suricata 是一个由开放信息安全基金会(OISF)开发的开源威胁检测引擎。Suricata 可以作为入侵检测系统(IDS)和入侵预防系统(IPS) ，也可以用于网络安全监控。它是与社区一起开发的，以帮助简化安全流程。作为一个免费且健壮的工具，Suricata 使用广泛的规则集和签名语言来监控网络流量。Suricata 还支持 Lua 脚本来监控更复杂的威胁。 可以和AWS结合 |
| Scirus（已使用） | Suricata 的可视化规则管理 | 是一个专门用于suricata规则集管理的web应用程序, 它采用Django开发。 |
| Shuffle SOAR | Shuffle SOAR 开源SOAR平台 | 简单的工作流自动化编辑器，用于大量安全工具的预制应用程序-，基于 OpenAPI 集成的应用开发者，用于自定义应用程序的 Python 库易于学习 |
| OpenCTI | 开源威胁情报管理平台 威胁建模平台 | 允许组织管理他们的网络威胁情报知识和观察数据。创建 It 是为了构建、存储、组织和可视化关于网络威胁的技术和非技术信息。数据的结构是使用基于 stix2标准的知识模式执行的。它被设计成一个现代网络应用程序，包括 GraphQL API 和一个面向用户体验的前端。https://github.com/OpenCTI-Platform/opencti |
| Prometheus+Grafana | Prometheus+Grafana | 系统监控 |
| Flink | 流计算/复杂计算 | 定制化实时分析处理程序 |
| elastiflow（开始收费了） | 流量分析 | 替代科来网络分析设备， * 快速查找和排除网络故障； * 找到网络瓶颈提升网络性能； * 发现和解决各种网络异常危机，提高安全性； * 管理资源，统计和记录每个节点的流量与带宽； * 规范网络，查看各种应用，服务，主机的连接，监视网络活动； * 资产识别与梳理； * 主机行为分析； * 管理网络应用。 |
| 全流量抓包工具 |