CSVの作業メモ · 架空データで再現

CSVの重複行を削除する:完全一致とキー競合を分けて確認

空白・改行を整えたあと、全列一致の重複と、識別キーは同じでも内容が違う行を分けて確認します。候補を作る操作と、実際に削除を適用する操作は別です。

この例で確かめること

架空の受付CSVに3件のデータ行があります。1件目の備考には前後の空白とセル内CRLF、2件目にはセル内LFがあり、整形後は1件目と2件目の全列が一致します。3件目は別の記録です。

sample.csv をダウンロードして、ツールへ読み込めます。CSVでは、値の中のカンマ・改行・二重引用符は二重引用符で囲み、値中の二重引用符は二重にして表せます(RFC 4180 §2)。

整形前の値

  • 元行2の備考: ␠受付完了␍␊翌日発送␠
  • 元行3の備考: 受付完了␊翌日発送
  • 元行4の備考: 保留

␠は空白、␍␊はCRLF、␊はLFを表す表示用記号です。ダウンロード用CSVには実際の改行コードが入っています。

ツールでの手順

  1. ツールを開いてCSVを選び、プレビューでヘッダーと行の内容を確認します。
  2. 「空白・改行」で「備考」だけを選び、「整形を適用」を押します。選択列のセル前後の空白を除き、CRLFまたはCRをLFへ統一します。
  3. 差分を確認します。この例では備考1セルが変わり、データ行数は3件のままです。セル内の改行そのものは削除されません。
  4. 重複候補の条件を「全列一致」にします。整形後の元行2・3が完全一致候補1件になります。候補表示だけでは削除されません。
  5. 候補の値と元ファイル・元行を確認してから「完全一致候補を削除して適用」を押します。最終差分の目安は、入力3行・出力2行・削除1行・変更セル1件です。
  6. 差分と出力プレビューを見直し、「機械取込用CSVを保存」を選びます。

機械取込用CSVは元の値を保つため、数式と解釈される文字列もそのまま含まれます。Excelなどの表計算ソフトで直接開くと数式が実行される可能性があります。画面で確認する用途には、必要な列に「閲覧用文字列化を適用」してから「閲覧用CSVを保存」を選んでください。

この実例の確認値は、実装の処理順(整形した行に対する重複判定)とCSVの3レコードを照合したものです。Excel上での表示や印刷を試した結果ではありません。

全列一致とキー競合を分ける架空例

5件のデータを「伝票ID・品目・数量」で確認します。P-20の2行は全セルが同じなので重複候補です。一方、A-10は数量が1と2で異なるため、IDだけをキーにすると内容の異なる競合として残ります。

伝票ID品目数量
A-10鉛筆1
A-10鉛筆2
P-20ノート1
P-20ノート1
C-30ファイル1
  1. 架空CSVを読み込み、列名と5行を確認します。まず「全列一致」を選ぶと、P-20の重複1行だけが削除予定として表示されます。
  2. 条件を「指定キー列」に切り替え、「伝票ID」だけを選びます。P-20は完全一致候補、A-10はキー競合として表示されます。キー競合は削除予定には入りません。
  3. 「完全一致候補(削除予定行)」と「キー競合」の件数、元行番号、各セル値を照合し、問題がなければ「完全一致候補を削除して適用」を押します。

両方の条件で完全一致候補を適用した場合、入力5行から1行だけが除かれ、出力は4行です。A-10の数量差は残ります。ツールはキーの意味を推測して行を統合しないため、数量差が入力ミスか正しい明細かは元資料で確認してください。

結果の見方と適用範囲

CSVツールを開く · 記事一覧へ戻る · プライバシー