文字・テキスト / TOOL 22
CSVの重複行チェック
CSV・TSVのキー列を指定して重複行を見つけ、重複グループと重複除去後の結果を確認できます。
01 条件を入力AUTO CALCULATE
02 / YOUR RESULT結果
入力すると重複状況が表示されます。
計算結果は参考値です。
計算方法・条件・注意点をあわせてご確認ください。
計算方法・根拠を確認 ↓
URL共有時は、対応する入力値がURLに含まれます。
使い方
CSVまたはTSVを貼り付け、区切りとヘッダー行の有無を選びます。キー列に番号またはヘッダー名を複数指定すると、その列の組み合わせが同じ行を同じグループと判定します。たとえば「id,email」ならIDとメールアドレスの両方が一致する行が重複です。前後空白を無視、大文字・小文字を無視の設定はキー値の比較にだけ適用されます。結果欄には最初の行を残して重複を除いたデータを出力し、画面には重複グループの一覧と件数を表示します。
計算方法や仕様
CSVの解析は二重引用符内のカンマや改行を区切りとみなさない簡易パーサーで行います。キーを指定しない場合は全列をキーにします。ヘッダーありでは先頭行をデータに含めず、指定名を列番号へ変換します。比較キーはセルを連結したものではなく、列ごとの値をJSON配列として扱うため、列の境界も区別されます。最初に現れた行を保持し、2行目以降で同じキーが現れたものを重複とします。重複グループ一覧はキー値を表示し、値の表示上は空欄を「（空欄）」としています。
注意点
- キー列の指定は1から始まる列番号です。存在しない列は空欄として比較されます。
- 前後空白無視は通常の半角・全角空白など、JavaScriptのtrim()相当を対象にします。
- 重複除去後の結果は元データの先頭行を残す方式です。自動的に並べ替えはしません。
よくある質問
Q. 完全一致とは何ですか?
A. すべてのキー列の値を、空白や大文字小文字の補正なしで比較する状態です。
Q. 1列だけで重複判定できますか?
A. キー列に1列だけ指定してください。メールアドレスなどを基準にできます。
Q. 重複行をすべて削除できますか?
A. 現在は各グループの最初の1行を残します。全件削除ではありません。