単語・語句の出現回数カウント

文章を貼り付け、日本語N-gramの長さと表示件数を選んでください。英語などは英数字の連続を1単語として数え、日本語は連続するひらがな・カタカナ・漢字から2〜4文字の語句を切り出します。表は出現回数の多い順です。大文字・小文字の統一を有効にすると、Wordとwordを同じ項目として集計できます。

英数字は正規表現で抽出し、日本語は文字列ごとに指定長の窓を1文字ずつ移動させます。同じ語句の回数を加算し、回数が同じ場合は辞書順に近い順序で並べます。ストップワードは英語・日本語のごく簡易な固定リストです。形態素解析は行わないため、専門用語や複合語の区切りは目安となります。

• N-gramは単語の意味を理解する処理ではありません。助詞などを含む語句も抽出されます。
• ストップワードの除外は固定リストに一致する項目だけが対象です。固有名詞を自動判定するものではありません。
• 大量の文章では結果表が長くなるため、表示件数を絞って確認してください。

Q. 日本語の単語を正確に数えられますか?

A. 形態素解析を使わないため、正確な単語分割ではなくN-gramによる頻度の目安です。

Q. 記号や数字はどうなりますか?

A. 英数字の連続は単語として数え、記号は区切りとして扱います。