Quantcast
Channel: Bashタグが付けられた新着記事 - Qiita
Viewing all articles
Browse latest Browse all 2830

Splunkとkerasを用いた不正アクセス予測検知の仕組み(前処理編)

$
0
0
やりたいこと アクセスログをもとに機械学習(ディープラーニング)で不正アクセスを予測する仕組み作る。 1.Splunkを使い、access.logをCSVに変換  ⇦今回の内容 2.CSVファイルをもとにJupyterLab上で教師データを作る  3.機械学習を行い、予測精度を確かめる Splunkを使う理由 将来的にデータの自動取り込みを行うことを想定して、非構造化データの自動収集に定評のあるSplunkを選定。 あわせて、JupyterLabでアドホックに調査・分析・処理するにあたり、使い慣れているCSVファイル形式で行いたい。 環境 ・JupyterLab 2.1.4 @ AWS Cloud9 ・Python 3 ・Splunk Enterprise 8.1 @ AWS EC2 データ取得 検証用で使うaccess.logを入手する。今回はKaggleから頂戴した。 ログファイルを解凍すると3.5GBほどあり、Splunkの無料枠では上限に達するため分割してから取り込むことに。 [ec2-user@ip-192-168-0-5 ~]$ split -b 200MB access.log [ec2-user@ip-192-168-0-5 ~]$ ll 合計 5447932 -rw-rw-r-- 1 ec2-user ec2-user 3502440823 2月 13 2021 access.log -rw-r--r-- 1 ec2-user ec2-user 277102492 9月 11 03:00 access.log.zip -rw-rw-r-- 1 ec2-user ec2-user 200000000 9月 11 03:03 xaa -rw-rw-r-- 1 ec2-user ec2-user 200000000 9月 11 03:03 xab -rw-rw-r-- 1 ec2-user ec2-user 200000000 9月 11 03:03 xac -rw-rw-r-- 1 ec2-user ec2-user 200000000 9月 11 03:03 xad Splunk取り込み 分割したファイルの内、xaaファイルを利用した。 以後、Web GUIからアップデートを実施。 必要なカラムをCSVファイルに出力する。 以後、出力したCSVファイルを使う。 以上。   【次回】:Splunkとkerasを用いた不正アクセス予測検知の仕組み(教師データ作成編)

Viewing all articles
Browse latest Browse all 2830

Latest Images

Trending Articles