教你如何搭建威胁情报库 老男孩网络安全周末班

    /    2019-09-09

一、前言

威胁情报是一种基于数据的,对组织即将面临的攻击进行预测的行动。预测(基于数据)将要来临的的攻击。威胁情报利用公开的可用资源,预测潜在的威胁,可以帮助你在防御方面做出更好的决策。 在企业或政府乃至国家,拥有一个高准确度,大数据量的威胁情报库是至关重要的。

二、简介

本文主要针对是初学者,刚起步的搭建自己的威胁情报库的企业,通过简单便捷的python脚本来搭建自己的恶意ip数据库。此恶意数据库的IP来源于国外较为权威的威胁情报。本文只是讲述其中的黑名单ip如何搜集,方向还可以拓展为恶意域名,恶意证书,可用类似方法。之所以要收录国外的开源情报威胁库,更大程度上是因为国内各个网络安全公司不会将自己的数据库分享,也是用与我一样的思路爬取国外信息为主。

三、黑名单IP(C&C,恶意软件,垃圾邮件,网络爬虫)

首先,代码将从国外权威平台的威胁情报源下载黑名单IP列表,其中包含(c2 服务器,垃圾邮件,网络爬虫,间谍软件和其他恶意软件)。并且在收集含有黑名单ip的文件同时,还需要聚合筛选数据,只提取重要可用的数据。

我们需要将下面的命令写入cron中,可用来每5分钟自动下载一次黑名单IP

"""
crontab -e
"""

在配置文件中添加下面三行

"""
*/5 * * * * cd && wget http://osint.bambenekconsulting.com/feeds/c2-ipmasterlist.txt
*/5 * * * * cd && wget reputation.alienvault.com/reputation.data
*/5 * * * * cd && wget https://myip.ms/files/blacklist/general/latest_blacklist.txt

在Home中,创建新py文件叫merge.py

"""
Filename: merge.py
Arthor:Mike
Date:2019.8.5
"""

打开文件

c2=open("c2-ipmasterlist.txt","r")
bl=open("latest_blacklist.txt","r")
reputation=open("reputation.data","a")

以行来分开下载的数据

for line in c2:
  ip = line.split(',')
  reputation.write(ip[0]+ ",c2\n")
for line in bl:
  ip = line.split()
  try:
    reputation.write(ip[0]+ "\n")
  except:
    pass

在执行代码之前,还需要添加一个命令在cron文件中,它会用下面的命令每5分钟导入黑名单IP列表:

打开cron的配置文件

crontab -e

添加运行每5分钟一次的merge.py文件,用于拓展黑名单数据量。

然后再重启cmikewhorontab服务:

service cron restart

这张截图显示merge.py所结合的恶意ip,域名的总文件

再次创建新py文件,检查IP是否被列入收录中的黑名单。

import mmap

打开IP收录文件,检测流量中的IP是否在黑名单中

file = open("reputation.data")
IP ='207.241.231.146'
s = mmap.mmap(file.fileno(), 0, access=mmap.ACCESS_READ)
if s.find(IP) != -1:
  print "This "+IP+" is blacklisted"
  file.close()

四、总结

本文简单地描述如何利用开源威胁情报,帮助我们更好的防护网络不受到恶意的攻击。阅读者可以展开思维,通过爬虫技术去搜集各个情报源的C2数据库。

五、提示

经提示因为配置文件不同,可能造成一些同学无法启动crontab。这里为更详细的教程图解帮助大家配置威胁情报库。

开启crontab日志

crontab默认情况下是不执行开启日子的,所以一开始写完后,不能执行,想查看日志,却找不到。所以先开启定时任务的日志来查看

修改rsyslog服务,将 /etc/rsyslog.d/50-default.conf 文件中的 #cron.* 和#daedon.* 前的 # 删掉;

用以下命令重启rsyslog服务:

service rsyslog restart

然后再重启crontab服务:

service cron restart


*本文作者:mikewho,转载须注明来自FreeBuf.COM

(0)

分享至

正版马会精选资料大全 萨迦县| 五莲县| 蒙城县| 宣化县| 丹巴县| 定日县| 延长县| 施甸县| 邵东县| 南投市| 合川市| 安吉县| 赤水市| 调兵山市| 湄潭县| 珲春市| 鱼台县| 镇远县| 伊宁市| 左贡县| 商城县| 昌图县| 望谟县| 封丘县| 石家庄市| 西城区| 濮阳市| 马关县| 和政县| 桐乡市| 呼玛县| 汾阳市| 乌什县| 顺平县| 蓬安县| 云霄县| 札达县| 南岸区| 大化| 玉林市| 青冈县| 长岭县| 屏南县| 永修县| 无锡市| 宣城市| 濮阳县| 城固县| 南澳县| 阿鲁科尔沁旗| 昌平区| 湖南省| 新巴尔虎右旗| 信阳市| 咸阳市| 武邑县| 福鼎市| 广水市| 乐业县| 宁乡县| 凤凰县| 新邵县| 库伦旗| 遵义市| 黎平县| 漠河县| 广安市| 顺平县| 高唐县| 田东县| 临湘市| 舟曲县| 延川县| 乐昌市| 乐安县| 元氏县| 水城县| 南开区| 合川市| 宜兴市| 内江市| 德格县| 林西县| 稷山县| 特克斯县| 青川县| 宾阳县| 岳阳市| 新郑市| 台北市| 山阳县| 江津市| 兰坪| 新津县| 青铜峡市| 高邮市| 宝兴县| 通渭县| 宾川县| 阿勒泰市| 汶川县| 攀枝花市| 临汾市| 务川| 宁城县| 大竹县| 中超| 高雄市| 九江市| 怀集县| 汉寿县| 炎陵县| 凌云县| 淮南市| 邳州市| 中西区| 寻乌县| 宁河县| 龙南县| 九龙城区| 白城市| 称多县| 元氏县| 芜湖县| 革吉县| 娱乐| 武山县| 成都市| 偃师市| 芜湖县| 二连浩特市| 元氏县| 增城市| 乐安县| 华蓥市| 偏关县| 五河县| 大渡口区| 华宁县| 竹北市| 博客| 沅江市| 江陵县| 新郑市| 长阳| 汶上县| 武城县| 顺义区| 博湖县| 喜德县| 五家渠市| 武清区| 包头市| 凤城市| 东海县| 扶沟县| 赤壁市| 通许县| 吉首市| 六安市| 石景山区| 利辛县| 新竹县| 和平县| 忻州市| 普格县| 积石山| 乐至县| 东乡族自治县| 平湖市| 洮南市| 修水县| 昌黎县| 尼玛县| 巫山县| 万山特区| 牙克石市| 南丰县| 天柱县| 常州市| 永兴县| 嘉峪关市| 大宁县| 永吉县| 河津市| 古田县| 拉萨市| 仲巴县| 璧山县| 德阳市| 长宁区| 聂拉木县| 广灵县| 固原市| 宣恩县| 乐都县| 蚌埠市| 南平市| 岑溪市| 江北区| 保亭| 岳池县| 江陵县| 邹城市| 安溪县| 伊宁县| 嵩明县| 金湖县| 丹巴县| 本溪市| 神农架林区| 门源| 瓮安县| 稷山县| 门头沟区| 南开区| 宿迁市| 北宁市| 辽阳市| 彰化县| 博客| 崇信县| 溆浦县| 夏津县| 滦平县| 友谊县| 林州市| 玉门市| 阿坝| 吴忠市| 秦皇岛市| 准格尔旗| 察隅县| 日照市| 闸北区| 昌江| 兰溪市| 黄龙县| 神农架林区| 安溪县| 双峰县| 平顺县| 民县| 临猗县| 芦溪县| 廉江市| 崇州市| 三穗县| 库尔勒市| 台北市| 周至县| 阳西县| 西和县| 黑河市| 武宁县| 南充市| 焉耆| 拉孜县| 沈阳市| 乌拉特前旗| 南部县| 阳西县| 大石桥市| 高阳县| 革吉县| 隆回县| 建昌县| 聂荣县| 肇源县| 平南县| 牟定县| 阿合奇县| 龙井市| 双桥区| 苍梧县| 蒲城县| 聂荣县| 资阳市| 临澧县| 盱眙县| 且末县| 蒙自县| 莱芜市| 石河子市| 象山县| 佛坪县| 芮城县| 沁阳市| 南川市| 罗平县| 永平县| 盐津县| 云南省| 舟曲县| 于田县| 小金县| 平江县| 大庆市| 宜都市| 昭苏县| 丰城市| 平安县| 万盛区| 兴和县| 玉林市| 祥云县| 临城县| 漳浦县| 耿马| 昌都县| 乐业县| 郑州市| 景洪市| 漳平市| 大港区| 竹溪县| 铁力市| 荥经县| 安平县| 黄梅县| 泸州市| 尖扎县| 北安市| 武穴市| 临湘市| 吉首市| 商河县| 甘南县| 视频| 万安县| 两当县| 大竹县| 沛县| 额济纳旗| 木兰县| 大埔县| 天祝| 江油市| 汉阴县| 葵青区| 嘉义市| 麟游县| 安西县| 美姑县| 九江市| 和顺县| 黑水县| 呼玛县| 湖北省| 西丰县| 资源县| 瓦房店市| 沈丘县| 盐源县| 皋兰县| 依兰县| 蒙阴县| 紫金县| 洛宁县| 灵寿县| 景东| 德保县| 右玉县| 潢川县| 台东县| 南陵县| 喜德县| 双鸭山市| 佛冈县| 易门县| 贵州省| 凤山市| 河西区| 南投市| 蒲江县| 罗江县| 休宁县| 延安市| 广宁县| 通辽市| 商南县| 和龙市| 聂拉木县| 苍南县| 云安县| 色达县| 宜兰县| 庆安县| 光山县| 浠水县| 青田县| 奎屯市| 天水市| 奉节县| 台山市| 响水县| 莎车县| 明水县| 成都市| 故城县| 扬中市| 和平县| 雅安市| 百色市| 理塘县| 建水县| 沂南县| 稷山县| 靖边县| 南康市| 临安市| 申扎县| 昌乐县| 尉犁县| 温州市| 古蔺县| 荆州市| 加查县| 榆林市| 桃园市| 肥乡县| 长阳| 江口县| 正镶白旗| 清原| 从化市| 怀仁县| 区。| 平陆县| 全南县| 英吉沙县| 乐亭县| 海门市| 宜昌市| 双桥区| 微博| 福泉市| 黑水县| 荥经县| 中方县| 孙吴县| 开远市| 汝南县| 西安市| 新乡市| 吴堡县| 启东市| 方城县| 桂东县| 临湘市| 乌鲁木齐市| 佳木斯市| 建平县| 五原县| 麦盖提县| 岑巩县| 海南省| 海伦市| 张北县| 水城县| 浮山县| 巴中市| 饶河县| 雷波县| 怀仁县| 滦南县| 巩留县| 晋城| 中超| 内江市| 义马市| 平阴县| 汪清县| 巫山县| 金川县| 朝阳区| 冷水江市| 轮台县| 绥中县| 自治县| 二手房| 四子王旗| 牡丹江市| 当涂县| 南汇区| 新河县| 新疆| 筠连县| 商丘市| 阜城县| 黑水县| 余姚市| 乃东县| 新昌县| 永宁县| 常山县| 德钦县| 新宾| 两当县| 手机| 吴旗县| 兴仁县| 天等县| 莱芜市| 家居| 贺州市| 辽宁省| 鹤山市| 高清| 延吉市| http://m.gz1980wheelc.fun http://www.yqo4j6rl1v.fun http://m.gz1980describec.fun http://wap.bo2020issues.fun http://wap.yqo2j4rl2v.fun http://m.gz1980betterc.fun http://www.bo2020increases.fun http://www.yqo7j1rl0v.fun http://wap.yqo8j5rl7v.fun http://m.gz1980zarc.fun http://www.bo2020guns.fun http://wap.bo2020lasts.fun http://m.yqo9j4rl2v.fun http://wap.jvz0j8r6o.fun http://m.gz1980lastc.fun