ダミーファイルを大量に作成する
Linux環境でダミーファイルをまあまあの数作成する必要がある場合の自分用メモ。 大昔、某Firewallが特定の数字パターンを持つファイルのみFTP送信しないという、そんなことある！？問題に遭遇し…
View ArticleGCSにあるCSV群をBigQueryへ取り込む
はじめに こちらの記事で、大きなCSVを日付ごとのファイルに分割しました。これをもとに、BigQueryのシャーディングテーブル（テーブル名にサフィックスで日付がついているもの）を作成する手順です。 ※ ブラウザだけでできます…
View ArticleBashで簡単にCSVファイルを読み込んで処理する方法
はじめに LinuxのBashのスクリプトでシンプルなCSVファイルを読み込んで処理を行う際に、意外と簡単に記述する事ができるので紹介します。 cutコマンドでカラムを変数に格納する方法 よく見か…
View Articleシェルにもブックマーク欲しかったのでpeco使ってワンライナー
必要物品 pecoじゃなくてもいいけれど、その手のもの…fzfとか？ そういうのがあればワンライナー出来ます。 やり方 とりあえず、僕はブックマークのファイルを $HOME/.bookmarksに…
View Article今日のSed error: unknown option to `s'
文字計数処理:ちょっとした処理の変化が、データにどう変化を与えるか。 https://qiita.com/kaizen_nagoya/items/dcf788f738065f61ab3c でsedの…
View Articleechoコマンドのエスケープシーケンスのメモ
gitのpre-commitスクリプトを書いている時に出てきた echo -e $'〇〇' のような記述が、参考記事によく出てきました。 $'ってなんだ？ってなったので、ちょっと調べてみました。 コ…
View ArticleGCSにあるCSV群をBigQueryへ取り込む
はじめに こちらの記事で、大きなCSVを日付ごとのファイルに分割しました。これをもとに、BigQueryのシャーディングテーブル（テーブル名にサフィックスで日付がついているもの）を作成する手順です。 ※ ブラウザだけでできます…
View ArticleLinuxで作業のlogをこっそりとる
できること linuxサーバーでの作業履歴を記録する。 履歴をとっていることがバレにくい。 ssh接続時はアクセス元の記録もできる。 前提条件 OS: Linux シェル: bash やり方 結論…
View Articleパイプ区切りファイルをカンマ区切りファイル（CSV）へと変換したい
パイプ区切りファイルを CSV(Comma Separated Value) = カンマ区切り ファイルへと変換するスクリプトを紹介します。 以下のようなパイプ区切りファイルがあるとします。 $ c…
View Articleレトロなコーポレートサイトをモダンに替えてみた
1990年代のインターネット黎明期から存在し、社員による手作りで継ぎ足し継ぎ足し更新してきたコーポレートサイトを全面リニューアルしてみました。 現行の問題点 ネット界隈で時折話題になる「阿部寛のホー…
View ArticleDockerコンテナ内で作成したVueプロジェクトをホスト側から編集する
意外と気をつけることが多かったし似たようなことしてる記事が全く見当たらなかったのでアップ。 ゴール Dockerコンテナ内で $ vue create <project> して作成したVueプロジェ…
View Article[Bash, ShellScript] スペース含むファイル達を正しくループさせる
はじめに 例えば､ ./dir 以下のテキストファイルを処理したい場合､以下のようなスクリプトが思いつく｡ しかし､ファイル名にスペースが含まれると改行の他にスペースでもループが分割されてしまい､…
View ArticleAlfred WorkflowでSlack投稿いろいろ
TL;DR Slackのあるチャンネルに任意の文字列を投稿する。 投稿するチャンネルを選ぶ 投稿する時間を選ぶ あるチャンネルの特定のスレッドに返信する 絵文字を自動でつける How to ins…
View Article【ShellScript】記述方法ついて
インフラエンジニアのため、構築や運用等で使用するシェルスクリプトを作成するようになりました。 シェルスクリプトの作成は初めてのため、業務中に学習したことを記載します。 シェルスクリプトとは Linu…
View Articleプロセスがあるか調べる
すっかり ansible でやるようになったものの、必要になったときにすぐ出て来ないと困ったりするやつ chk_proc(){ if pgrep "$1" > /dev/null ; then pr…
View Article部屋のCO2濃度監視
Motivation テレワーク等々で部屋に引きこもり活動していると、換気を忘れてしまうことが多々 部屋のCO2濃度が上がると、なんかいろいろとよくないらしい https://www.mhlw.g…
View ArticleEC2を使ったOpenVPNによるリモートアクセス環境の構築
AWS上にEC2を使ったリモートアクセス環境（SSL-VPNサーバ）を構築する手順を紹介します。 1.概要 SSL-VPNとは PCやタブレットなどのクライアント端末から、企業のイントラなどプライベ…
View Articlesort -n の代わりに2つ以上の数値をlinuxシェルでソートする
sort -n では数値を1つ含むような文字列をソートできますが、その代わりに複数の数値含むような文字列をlinuxシェルでソートする方法について考えてみました。 2022/5/21追記 素晴らしい…
View Articlesedでファイルの先頭or末尾に文字列を挿入
sedでファイルの先頭or末尾に文字列を挿入する方法 この投稿は下記2つをsedで行う方法のメモです。 ファイルの先頭に文字列を挿入する ファイルの末尾に文字列を追加する 用例 用例を見ていただけ…
View ArticlePATHについてまとめた
PATHとは コマンド検索パスのこと。 コマンド検索パスとは シェルがコマンドの実行ファイルを探すパスのこと。 lsというコマンドの実行ファイルは、/bin/lsにあるが、lsと打つだけでも実行で…
View Article