コマンドラインで、csvファイルの列数と行数を取得する
概要業務にて、データ分析のために拡張子が.csv のファイルを扱う機会があった。pandas.DataFrameにデータを食わせて取得しても良いのだが、コマンドラインでささっと数と行数・列名（カラム名）一覧を確認したかったので、備忘録として残しておく。行数を取得wcを使う。terminal$ wc-l hoge.csv 30 列数を取得awkを使う。terminal$...
View Articlebashrcの環境変数が使えなくて困っていた件
3行でまとめるとBashのシェルスクリプトを実装した。~/.bashrcに定義しておいた環境変数をシェルの中で使おうとしても存在していない。なるほど、~/.bashrcにexportがいるのか！！背景こんなコードをつくった。$work_rootが~/.bashrcに記述してある環境変数。main.sh#!/bin/shwork_dir=${work_root}/yyy/ddd/mmm/work;cp...
View Article[Bash]特定月のログファイルを圧縮する
特定月のログファイルを圧縮するシェルスクリプトのサンプルコード（覚え書き）。デフォルトは前月（コマンドライン引数なし）で、コマンドライン引数（第1引数）に年月を指定すると、その年月分のログファイルを圧縮できる、という内容になっています。環境OS: Amazon...
View ArticleClik here to view.
[Linux]デスクトップを「Desktop」にする方法
Linuxで「デスクトップ」って入力するの超めんどくさいLinuxの端末上でpathを指定するときに、気持ちよくタブキーを押しオートコンプリート機能(入力補完)を使いながら入力していく人多いと思います(*‘∀‘)そんな時に、デスクトップとかを指定したい場合、いちいちカタカナに入力切替して「デ」って打って、また戻すの、めっちゃめんどくさくないですか(´Д`)例えば以下みたいな時に、タブを押すとそのディ...
View ArticleClik here to view.
WSL2の手動インストール(2021年睦月)
初めにいつもお読みいただき、ありがとうございます。あと少しですので頑張ります。準備PowerShell (Core) を使って作業WindowsTerminalからPowerShellを開いて実行する。sudo を使うので確認管理者権限でのスクリプト時に便利なので、Scoopで入れておくとよい。scoopinfosudoインストールされていない場合は追加する。powershell scoop...
View ArticleAWS CLIを用いてLambda関数の情報とコードの一覧を取得する。
はじめにAWSを使用するに当たり適宜適当にlambdaの関数を作成していたら、いつの間にか管理がおろそかになってしまいました。。。とりあえず AWS CLI を使えば現状あるものの一覧を取得できるみたいなのでトライしてみます。手順0. 事前準備わたくしの環境・ubuntu v20.04.1 LTS (Focal Fossa)・aws-cli /2.1.3 Python/3.7.3...
View Articleshell scriptの変数と配列
shellscriptを勉強したのでまとめます。変数$n : n番目の引数を格納する。 引数は.shファイル arg1 ...のように渡す。$0 : 自身のパスを格納している。(相対・絶対パスによって値が異なる)。$@ : 全ての変数が格納されている。$? : 直前に実行したコマンドの結果(0か0以外)を返す。$# :...
View ArticleClik here to view.
Qiita APIを使って取得した投稿記事の履歴をkintoneに読み込んで集計してみた
Qiita APIをシェルスクリプトからCSV出力して、kintoneアプリに読み込み集計してみました。環境mac...
View ArticleBash: パイプからの入力を変数へ代入する（右方向への代入）．
要約・zshの場合read -d ''を利用して右方向代入ができる。Bash（version 4.2以降[1]）でも以下の準備をすれば同様の操作ができる。・bashでshoptコマンドでlastpipeオプションをオンにする（shopt -s lastpipe）。・インタラクティブモード（対話的に入力する場合）ではsetコマンドでモニターオプションをオフにする（set +m）。はじめに...
View Article[Ubuntu 20.04] 公開サーバーでiptables設定
2021年、CentOSが一つの区切りを迎えた。色々悩んだが、ubuntuに乗り換えた。勝手が違って苦労したので備忘録のつもりでメモ。 まずはiptablesの設定が永続化されるパッケージをインストール。これを入れないと再起動の度に設定が消えてしまう。sleepenhは後々のスクリプトで使用する。 apt install iptables-persistent sleepenh...
View ArticleClik here to view.
cronの設定
cronの設定二番煎じですが忘れることが多いのでQiitaに投稿ステータス確認$ /etc/init.d/cron status ● cron.service - Regular background program processing daemon Loaded: loaded (/lib/systemd/system/cron.service; enabled; vendor preset:...
View Articleよく使うherokuコマンド
よく使うherokuコマンドいつも忘れてしまうので備忘録として忘れた時に見返して頂くと幸いです。#CLIでのログイン$ heroku login #環境変数の確認$ heroku config -a<app name> #環境変数を指定して確認$ heroku config:get ENV_VARIABLE #環境変数の設定$ heroku config:set ENV_VARIABLE...
View Articleshellscriptの演算
shellscriptで演算の勉強をしたのでまとめます。 演算の書式 基本的には $(( 演算 )) $(expr 演算 ) 演算子 和 : + 差 : - 積 : $(( * )) か $(expr ¥* ) 商 : / 剰余 : % exprは積の時だけ¥が必要になる。 file.sh echo $(( 1+1 )) echo $(( 10 - 5 )) echo $(expr 3 ¥* 2 )...
View ArticleBigQueryの結果（TSV）をシェル芸でMarkdownにする
先に結論 xclipがあれば $ xclip -o | sed -e 's/\t/|/g' -e 2i$(xclip -o | head -n 1 | sed -e 's/\t/|/g' -e 's/\w*/--/g') | xclip -selection c 無い場合、bqresult.txtというファイルに結果をペーストして $ cat bqresult.txt | sed -e...
View Article[bash] 関数を1行で書く
はじめに bash等のシェルにおいて、長いコマンドを毎回打つのが面倒なとき、alias を設定しておくと便利です。 また、引数を交えてalias を設定したい場合、関数を定義することにより実現可能です。 関数定義の例 例えば、以下のコマンドを省略したいとします。 docker run -itd --name hoge 7cfg...
View Article仲介ドライブとデータ圧縮を使ってデータ移行する方法[dd]
はじめに ddコマンドは間違って使った場合はデータの損失のリスクがあります。ディスクコピーの状況によってこの記事のコマンドが適用できない場合も考えられますので、リファレンスを確認したうえで実行は自己責任でお願いします。 TL;DR 3つのドライブを用いてデータのコピーをする。 ドライブ1: 「コピー元」のドライブ ドライブ2: 「仲介役」 ドライブ3: 「コピー先」のドライブ...
View Article多段ssh (途中のホストで名前解決)
構成 Host Port User HostName IP target の名前解決 local - - - - 不可 jump1 10022 user1 jump1.domain1.example.com - 可 jump2 20022 user2 jump2.domain2.example.com - 不可 target 30022 user3...
View Articleフロントエンドエンジニアが最低限知っておきたいShell, direnv（超基本）
フロントエンドの環境構築周りで絡んでくるdirenv、shell、bashあたりの理解が怪しかったのできちんと理解すべく整理してみました。あくまでもフロントエンドエンジニアとして知っておくべき最低限の情報だけなので超基本編です。 Shellとは：...
View Articledockerコマンドをエイリアス設定してすこし楽する
新しい Mac で git コマンドのエイリアス設定を終えたので、dockerコマンド(特にdocker-compose)もついでにやっとこうと思い設定しました。 .bashrcを編集して、bash_profileに反映させます。 .bashrc と .bash_profile の参考記事 本当に正しい .bashrc と .bash_profile の使ひ分け docker と...
View Article
