MeCabを使ってNode.jsで形態素解析してみる

1 形態素解析とは？
2 形態素解析ツールMeCabのインストール
3 コマンドラインでMeCabを使ってみる
4 node.jsでMeCab(mecab.async)を使って形態素解析
5 単語の出現頻度を調べてみる
6 感想とか
7 参考にしたサイト、本

形態素解析とは？

形態素解析とは、「日本語などの自然言語の文章を単語ごとに区切り、それぞれの品詞を判別する」技術のことです。

なんだか難しく聞こえるかもしれませんが、実行結果を見れば一発でなんのことかわかるはず。

例えば、このブログのタイトル「スタバでマック広げてるヤツのブログ」を形態素解析すると、以下のようになります。

「スタバでマック広げてるヤツのブログ」
スタバ => 名詞,一般,*,*,*,*,*
で => 助詞,格助詞,一般,*,*,*,で,デ,デ
マック => 名詞,固有名詞,一般,*,*,*,マック,マック,マック
広げ => 動詞,自立,*,*,一段,連用形,広げる,ヒロゲ,ヒロゲ
てる => 動詞,非自立,*,*,一段,基本形,てる,テル,テル
ヤツ => 名詞,代名詞,一般,*,*,*,ヤツ,ヤツ,ヤツ
の => 助詞,連体化,*,*,*,*,の,ノ,ノ
ブログ => 名詞,一般,*,*,*,*,*

左から「表層形,品詞,品詞細分類1,品詞細分類2,品詞細分類3,活用型,活用形,原形,読み,発音」

形態素解析ツールMeCabのインストール

形態素解析にはいくつか便利なライブラリが提供されていますが、今回は「MeCab（和布蕪）」を使用します。
MeCabはオープンソースの形態素解析エンジンで、誰でも無料で使用できます。
ちなみに、MeCabの読み方は「めかぶ」。作者さまの好物だそうです。

MeCabを使って形態素解析をするためには、MeCab本体と辞書データの双方をインストールする必要があります。
使える辞書は何種類かありますが、IPA製のものが推奨されているので素直にこれを使用します。

Mac OS X へのMeCabのインストールはHomebrewを使うと楽です。
Windowsの人は自分でググってください。

$ brew install mecab
$ brew install mecab-ipadic

1 2	$ brew install mecab $ brew install mecab-ipadic

ついでに、非同期にMeCabを利用できるモジュール”mecab-async”もインストールしておきます。

$ npm install mecab-async

1	$ npm install mecab-async

コマンドラインでMeCabを使ってみる

MeCabがインストールできたら、コンソールで”mecab”と入力すると、コマンドライン上で試すことができます。

$ mecab
> mecab
スタバでマック広げてるヤツのブログ
スタバ     名詞,一般,*,*,*,*,*
で     助詞,格助詞,一般,*,*,*,で,デ,デ
マック     名詞,固有名詞,一般,*,*,*,マック,マック,マック
広げ     動詞,自立,*,*,一段,連用形,広げる,ヒロゲ,ヒロゲ
てる     動詞,非自立,*,*,一段,基本形,てる,テル,テル
ヤツ     名詞,代名詞,一般,*,*,*,ヤツ,ヤツ,ヤツ
の     助詞,連体化,*,*,*,*,の,ノ,ノ
ブログ     名詞,一般,*,*,*,*,*

$ mecab

> mecab

スタバでマック広げてるヤツのブログ

スタバ名詞,一般,*,*,*,*,*

で助詞,格助詞,一般,*,*,*,で,デ,デ

マック名詞,固有名詞,一般,*,*,*,マック,マック,マック

広げ動詞,自立,*,*,一段,連用形,広げる,ヒロゲ,ヒロゲ

てる動詞,非自立,*,*,一段,基本形,てる,テル,テル

ヤツ名詞,代名詞,一般,*,*,*,ヤツ,ヤツ,ヤツ

の助詞,連体化,*,*,*,*,の,ノ,ノ

ブログ名詞,一般,*,*,*,*,*

こんな感じで、入力値を形態素解析して結果を表示してくれます。

node.jsでMeCab(mecab.async)を使って形態素解析

では、node.jsからMeCabを使ってみます。
今回はとりあえず、解析対象の文字列はコマンドラインから取得するものとします。

ソース

// モジュールの取り込み
var MeCab = new require('mecab-async')
      , mecab = new MeCab()
    ;

// コマンドライン引数を取得
var args = process.argv.pop();

// 処理開始
mecab.parse(args, function(err, result) {
    if (err) throw err;
     console.log(result);
});

// モジュールの取り込み

var MeCab = new require('mecab-async')

, mecab = new MeCab()

;

// コマンドライン引数を取得

var args = process.argv.pop();

// 処理開始

mecab.parse(args, function(err, result) {

if (err) throw err;

console.log(result);

});

*2017/4/14追記　- 使用してないモジュール”async”を読み込んでいたので当該箇所を削除。

入力値

$ node mecab.js "スタバでマック広げてるヤツのブログ"

1	$ node mecab.js "スタバでマック広げてるヤツのブログ"

実行結果

[ [ 'スタバ', '名詞', '一般', '*', '*', '*', '*', '*' ],
  [ 'で', '助詞', '格助詞', '一般', '*', '*', '*', 'で', 'デ', 'デ' ],
  [ 'マック', '名詞', '固有名詞', '一般', '*', '*', '*', 'マック', 'マック', 'マック' ],
  [ '広げ', '動詞', '自立', '*', '*', '一段', '連用形', '広げる', 'ヒロゲ', 'ヒロゲ' ],
  [ 'てる', '動詞', '非自立', '*', '*', '一段', '基本形', 'てる', 'テル', 'テル' ],
  [ 'ヤツ', '名詞', '代名詞', '一般', '*', '*', '*', 'ヤツ', 'ヤツ', 'ヤツ' ],
  [ 'の', '助詞', '連体化', '*', '*', '*', '*', 'の', 'ノ', 'ノ' ],
  [ 'ブログ', '名詞', '一般', '*', '*', '*', '*', '*' ] ]

[ [ 'スタバ', '名詞', '一般', '*', '*', '*', '*', '*' ],

[ 'で', '助詞', '格助詞', '一般', '*', '*', '*', 'で', 'デ', 'デ' ],

[ 'マック', '名詞', '固有名詞', '一般', '*', '*', '*', 'マック', 'マック', 'マック' ],

[ '広げ', '動詞', '自立', '*', '*', '一段', '連用形', '広げる', 'ヒロゲ', 'ヒロゲ' ],

[ 'てる', '動詞', '非自立', '*', '*', '一段', '基本形', 'てる', 'テル', 'テル' ],

[ 'ヤツ', '名詞', '代名詞', '一般', '*', '*', '*', 'ヤツ', 'ヤツ', 'ヤツ' ],

[ 'の', '助詞', '連体化', '*', '*', '*', '*', 'の', 'ノ', 'ノ' ],

[ 'ブログ', '名詞', '一般', '*', '*', '*', '*', '*' ] ]

ちゃんと単語ごとに区切られて、品詞とか活用まで表示してくれてますね。すげえ。

単語の出現頻度を調べてみる

さて、ただ形態素解析するだけじゃあまり使い道がない（し、面白くない）ので、形態素解析を利用して、その文章に含まれる単語の出現頻度を調べるプログラムを作ってみます。

ソース

// モジュールの取り込み
var MeCab = new require('mecab-async')
      , mecab = new MeCab()
    ;

// コマンドライン引数を取得
var args = process.argv.pop();

var keywords_frequencies = [];

// 処理開始
mecab.parse(args, function(err, result) {
    if (err) throw err;

    keywords_frequencies = check_frequency(result);

    console.log("result of check_frequency");
    console.log(keywords_frequencies);

});


function check_frequency(items){
    var words = {};
    for (var i in items){
        var it = items[i];
        var w = it[0];
        var h = it[1];

        // いらない単語を品詞でフィルター
        if(h != ("名詞" || "動詞" || "形容詞")) continue;

        if(words[w] == undefined){
            words[w] = 1;
        }else{
            words[w]++;
        }
    }

    // 出現頻度順にソートするため配列にコピー
    var list = [];
    for (var key in words){
        list.push({
            "word":key,
            "count":words[key]
        });
    }

    // sort
    list.sort(function(a,b){
        return b.count - a.count;
    });

    return list;
}

// モジュールの取り込み

var MeCab = new require('mecab-async')

, mecab = new MeCab()

;

// コマンドライン引数を取得

var args = process.argv.pop();

var keywords_frequencies = [];

// 処理開始

mecab.parse(args, function(err, result) {

if (err) throw err;

keywords_frequencies = check_frequency(result);

console.log("result of check_frequency");

console.log(keywords_frequencies);

});

function check_frequency(items){

var words = {};

for (var i in items){

var it = items[i];

var w = it[0];

var h = it[1];

// いらない単語を品詞でフィルター

if(h != ("名詞" || "動詞" || "形容詞")) continue;

if(words[w] == undefined){

words[w] = 1;

}else{

words[w]++;

}

// 出現頻度順にソートするため配列にコピー

var list = [];

for (var key in words){

list.push({

"word":key,

"count":words[key]

});

}

// sort

list.sort(function(a,b){

return b.count - a.count;

});

return list;

}

たぶん、reduce,map,filterとかでもっとスマート＆関数っぽく書ける気がしますね。いつか直す。かも。

入力値

入力する文字列は、wikipediaの「メカブ」の本文を使用します。
https://ja.wikipedia.org/wiki/%E3%83%A1%E3%82%AB%E3%83%96

実行結果

 result of check_frequency
[ { word: 'メカブ', count: 5 },
  { word: 'ワカメ', count: 4 },
  { word: '部分', count: 4 },
  { word: 'もの', count: 3 },
  { word: '根', count: 3 },
  { word: '海藻', count: 3 },
  { word: 'こと', count: 3 },
  { word: '葉状', count: 2 },
  { word: '部', count: 2 },
  { word: '葉', count: 2 },
  { word: 'ひだ', count: 2 },
  { word: '成分', count: 2 },
  { word: 'ため', count: 2 },
  { word: '状', count: 2 },
  { word: 'その他', count: 2 },
  { word: '的', count: 2 },
  { word: '品', count: 2 },
  { word: '調理', count: 2 },
  { word: '湯通し', count: 2 }
   (略)
done.