quoteつきのCSVをなんとかしたい

CSVファイルのアイテムに,を入れたいときに"でくくるときがある。通常のUNIXコマンドはこれを認識できない。なんやかやする方法はあるが、調べるとcsvquoteというコマンドがある。githubからclone(なりダウンロード)なりして。レポジトリディレクトリ内で

make
sudo make install

csvquoteというコマンドが使える。一次的にquote内の,\cdotに置き換えることで他のコマンドによるご認識を避けているようだ。大体においてcatcsvquoteで置き換えることで目標は大体達成される。戻すのはcsvquote -u

csvquote quoted.csv | cut -d, -f 2-3 | csvquote -u

とかすればquoteつき(quote内に,が含まれる)のcsvからうまく2-3列目のみ取ってくることができる。

関係ないが、以下のような記載があった。

Run-time Speed comparison
Time spent processing a 100 MB CSV file on my laptop.

python ~ 100 seconds
lua ~ 60
awk ~ 14
luajit ~ 3.5
go ~ 1.2
C ~ 1.0

go速し

コメント

このブログの人気の投稿

Inverse-normal transformation

SKAT

locuszoom