エスケープシーケンスで出力の色や書式を変える
概要エスケープシーケンスを使えば端末エミュレータの出力テキストに色をつけたり形式を変えたりできる。 macのターミナルで試してみたのでメモ書き。環境bashシェルであれば動作可能。確認方法$ echo$SHELL環境変数$SHELLが設定されていなければ$ ps -p$$使い方下記のようにechoコマンドとそれぞれ組み合わせて使います。$ echo エスケープ文字 SGR (対象文字列)...
View ArticleAWS CLIでGlueJobのruns-statusとcloudwatchのログを良い感じでゲットするシェルを作ってみた
はじめにどうも、肉と糖質が大好きなおじさんです。仕事でAWSを使ってますが、マネコンからログを取得するのに限界を感じたので良い感じのシェルを作りました。しっかり解説入れようと下書きしていたけどうっかり消しちゃったのでサクッとシェルだけ投稿します。あーうっかりうっかり（泣）・実行ID、ゲットだぜ！JOBIDを指定して、良い感じの実行状態を取得するシェルです。...
View Article【aws-cli】S3のオブジェクト一覧から最終更新日時の範囲検索をして件数を取得するワンライナー
S3上のファイル情報をローカルで見たくて色々したときのメモです。S3上での最終更新日時を日付の範囲で絞ったものを表示したいとき2020-11-03 〜 2020-11-15 の範囲の場合aws s3 ls s3://bucket_name/directory_name/ | awk '$1' | grep -E '2020-11-(0[3-9]|1[0-5])'...
View Articlefirewalldで接続拒否(drop)しているIPアドレス(sources)を抽出・改行して表示するワンライナー
firewalldで拒否（dropゾーン）しているIPアドレスを抽出・改行して表示するワンライナー。ちなみに以下に出てくるIPアドレスは実際に攻撃（=脆弱性を探すリクエストを公開サーバに送信）に使われていたものです。環境項目値OSAmazon Linux2firewall-cmd -V0.4.4.4結果以下で期待を実現できましたが、極めてハードコーディング。何かシンプルな記述はないかな。#...
View Articlesshからexitしたときにターミナルのタイトルを消去したい
状況bashでsshを切断した時にターミナルのタイトルにsshの接続先 user@xxx.xx.xxx.xx:~というのが残るのが気になり、その方法を以前調べて設定したものの、情報が見つけにくいのでメモ代わりに残すことにする。どうするのか簡単に言うと、リモート側の ~/.bash_logoutに以下の設定を追加するだけでいい。# ~/.bash_logout: executed by bash(1)...
View ArticleOpenSSL 証明書作成 with 中間CA
ルートCA・中間CAまで含めたオレオレ証明書を作りたくなった時の備忘。多分動くと思う。ルートCAの建造mkdir-p /etc/pki/CA/newcerts touch /etc/pki/CA/index.txt echo 01 > /etc/pki/CA/serial opensslがどうしても作業環境に依存してしまうため、最低限作業場所を整える。...
View Article連続するアルファベットを指定文字数分出力する
やりたいこと連続したアルファベットを指定文字数分生成したいコード# 単純なアルファベットの出力はブレーズ展開を使いますecho{A..Z} A B C D E F G H I J K L M N O P Q R S T U V W X Y Z 指定の文字数# その中から文字数をUPSのselfを使いました。echo{A..Z} | self {1..9} A B C D E F G H I #...
View ArticleClik here to view.
【業務向け】シェルスクリプトでファイルを削除する
業務上データやログをファイルに出力することって日常茶飯事だと思います。サーバの容量を確保するためにも、作成から一定期間以上経過して不要になったファイルは定期的に削除していきたいですよね。今回はシェルスクリプトを使って、業務レベルで使えるファイル削除プログラムを考えてみました。環境Amazon...
View Article【AWS】aws-sam-cli をWindowsでbashから使うメモ
問題AWS SAM CLIのWindows版をインストールすると、バッチファイルの「sam.cmd」が追加され、PowerShellやコマンドプロンプトから利用できる。1でも普段、Windows上で GitBash や WSL2 等の bashをメインに使っていると、cmdファイルは実行できなくてイラっとすることに。環境Windows10 ProSAM CLI version...
View ArticleClik here to view.
Slack WorkflowでBacklogチケット起票を自動化してみる
まずはじめにSlack Workflowというものがあります。定例作業をSlack上で自動化することが可能です。ツールの連携とタスクの自動化Webhookも使えます。Webhook...
View ArticleBash: JWT のペイロード部をデコード
decode_jwt.shawk-F.'{print $2}' | base64-d | jq .使い方./decode_jwt.sh < token01.txt 実行結果$ ./decode_jwt.sh < token01.txt { "name": "Scott", "iss": "https://securetoken.google.com/example", "aud":...
View Articlepip installでProxyError
プロキシ環境下のLinux（WSL2 Ubuntu）で pip installしたら ProxyErrorでうまく行かなかった話です。エラー内容例えばこのような内容です。$ pip3 install pylint WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after...
View Articleシェルスクリプトで高速にファイル全体を読み込む方法
はじめにシェルスクリプトでデータを処理する場合、通常は一行一行処理していくので、ファイル全体をメモリ（一つの変数）に読み込むことはあまりないのですが何にでも例外はあります。ファイル全体をメモリに読み込むには一般的には catを使うのが高速です。しかしながら数行程度の小さいファイルを読み込む場合は readでループを使って全行読み込んだ方が高速になります。これは...
View Articletail -fをログ出力プロセスの終了と同時に終了
やりたいこと次のシェルスクリプトにおいて、 longjobの終了と同時に tail -fを終了させたい。#!/bin/bash longjob &>log & disown tail -f log 条件:1つのシェルスクリプト内で行いたい。端末が終了しても longjobは継続させたい (つまり、& disownは譲れない)。Ctrl-cの押下時に...
View Articlelessコマンドでテキストを表示する時に行番号を表示する
目的lessコマンドでファイルを開くときに行番号を付与する方法をメモ的にまとめる方法1（ファイル展開時にオプションを付ける）lessでファイルを開くときにオプション-Nを使用する下記のように実行する。$less -Nファイル名 方法2（ファイル展開後に設定する）lessを用いてファイルを展開している時に-Nを入力し「Enter」を押下することで行番号を表示する事ができる。
View ArticleもうシェルスクリプトのIFで迷わないための逆引きレシピ
IF文書き方if[条件式 ];then 処理 elif[条件式 ];then 処理 else 処理 fi具体例if[$NUM-eq 0 ];then# $NUMが0と一致した場合echo"Succeed"elif[$NUM-eq 1 ];then# $NUMが1と一致した場合echo"Cleared"else...
View ArticleAWKでprint $0 時にOFSの設定を反映する（区切り文字の指定）
何をしたいかawkで、一行全体の表示print $0時に、出力ファイル区切り文字OFSを指定しても機能しない現象を何とかしたい。状況テーブルの区切り文字を変換して出力したい、処理結果をカンマ区切りで出力したい…等例）こんなCSVを用意する。これをタブ区切りに変換して出力したいとする。$ cat test.csv a,b,c,d,e,f 1,32,6543,45,4,45...
View Articlebash備忘録
一連のコマンドや、ジョブサブミット等で、*.shを使う。何かとbashコマンドが使えるとやっぱり便利なのでbashの文法を勉強したところから順次まとめていく。参考にさせていただいたサイト: Bashの便利な構文だがよく忘れてしまうものの備忘録 -...
View Article