Node.jsでCSVデータやTSVデータを変換する

2016/04/05

1 サンプルコード1
2 関連

CSVデータ（やTSVデータ）を変換するストリームを作成するにはCSV for Node.jsパッケージのstream-transformモジュールを利用します。

streamTransform関数を呼び出します。

第1引数に変換関数を指定します。この関数の第1引数はレコードです。レコードはフィールド名が指定されている場合にはオブジェクトで表され、指定されていない場合には配列で表されます。この関数は返り値として変換後のレコードを返すようにします。

返り値としてストリームが得られます。

ストリームにCSVデータのレコードが読み込まれるとdataイベントが発生します。このイベントのイベントハンドラの第1引数は変換されたレコードです。

なお、ストリームの詳しい使い方に関しては下の記事を参照してください。

ストリームの使い方

サンプルコード1

コマンドライン引数として与えられたCSVファイル（タブ区切りなので正確にはTSVファイルと言うべきかもしれません）を読み込み、変換を行い、標準出力に出力します。

▼stream-transform.js

var fs = require('fs');
var csvParse = require('csv-parse');
var streamTransform = require('stream-transform');

if (process.argv.length < 3) {
    console.error('lack argument.');
    process.exit(1);
}

var rs = null;
try {
    rs = fs.createReadStream(process.argv[2], 'utf-8');
    rs.on('error', function (err) {
        console.error(err);
        process.exit(1);
    });
}
catch (err) {
    console.error(err);
    process.exit(1);
}

var parser = csvParse({ delimiter: '\t' });
parser.on('error', function (err) {
    console.error(err);
    process.exit(1);
});

var transformer = streamTransform(function (data) {
    var after = [];
    for (var i = 0; i < data.length; i++) {
        if (data[i] != '') {
            after.push(data[i]);
        }
    }
    if (after.length != 4) {
        console.error('this is corrupted data.');
        return null;
    }
    else {
        after[0] = increment(after[0]);
        if (after[0] == null) {
            console.error('this is corrupted data.');
            return null;
        }
        after[1] = increment(after[1]);
        if (after[1] == null) {
            console.error('this is corrupted data.');
            return null;
        }
        return after;
    }
});
transformer.on('data', function (data) {
    console.log(data);
});
transformer.on('error', function (err) {
    console.error(err);
    process.exit(1);
});

rs.pipe(parser).pipe(transformer);

function increment(level) {
    if (level == `*`) {
        return level;
    }
    else {
        var n = parseInt(level, 10);
        if (n == NaN) {
            return null;
        }
        else {
            return (n + 1).toString(10);
        }
    }
}

▼使用パッケージ

CSV for Node.js
npm install csvでインストールします。

▼実行結果

現在のフォルダには下のような内容のenglish.csvという名称のTSVファイルが存在しています。

3       1       reading                 測定値
2       1       style                   ～と呼ぶ、様式
3       2       due                     ～することになっている、期限が来て、正当な
3       3       ankle                   足首
4       3       discipline              訓練、規律、分野、学科
4       3       extraordinary           異常な
3       3       joint                   接合（部）、関節、いかがわしい場所、共同の
4       3       virtue                  美徳、効力
5       4       bundle                  ～を束ねる、束
4       4       deceive                 ～をだます
5       4       reproduce               ～を複製する
6       4       rip                     ～を引き裂く
4       4       substitute              ～を代わりに用いる、～を置換する、代用品、代用の
6       5       cashier                 現金出納係、レジ係
4       5       envy                    ～をうらやむ、うらやましさ
6       5       mouthful                口いっぱい、正しい言葉
6       5       reap                    ～を収穫する、～を得る
5       5       refresh                 ～の元気を回復させる
6       5       refreshment             元気回復、飲食物、軽食
6       6       deceit                  詐欺

english.csvを第1引数としてコードを実行すると結果は下のようになりました。正しく変換されていることが分かります。

C:\work\node>node stream-transform.js english.csv
[ '4', '2', 'reading', '測定値' ]
[ '3', '2', 'style', '～と呼ぶ、様式' ]
[ '4', '3', 'due', '～することになっている、期限が来て、正当な' ]
[ '4', '4', 'ankle', '足首' ]
[ '5', '4', 'discipline', '訓練、規律、分野、学科' ]
[ '5', '4', 'extraordinary', '異常な' ]
[ '4', '4', 'joint', '接合（部）、関節、いかがわしい場所、共同の' ]
[ '5', '4', 'virtue', '美徳、効力' ]
[ '6', '5', 'bundle', '～を束ねる、束' ]
[ '5', '5', 'deceive', '～をだます' ]
[ '6', '5', 'reproduce', '～を複製する' ]
[ '7', '5', 'rip', '～を引き裂く' ]
[ '5', '5', 'substitute', '～を代わりに用いる、～を置換する、代用品、代用の' ]
[ '7', '6', 'cashier', '現金出納係、レジ係' ]
[ '5', '6', 'envy', '～をうらやむ、うらやましさ' ]
[ '7', '6', 'mouthful', '口いっぱい、正しい言葉' ]
[ '7', '6', 'reap', '～を収穫する、～を得る' ]
[ '6', '6', 'refresh', '～の元気を回復させる' ]
[ '7', '6', 'refreshment', '元気回復、飲食物、軽食' ]
[ '7', '7', 'deceit', '詐欺' ]