PostgreSQL數(shù)據(jù)庫臨時表去重效率比較與優(yōu)化策略

最近在處理大數(shù)據(jù)量（十萬級）導入時，發(fā)現(xiàn)某些字段和數(shù)據(jù)庫表里的數(shù)據(jù)（千萬級）重復，需要進行去重處理。由于用程序方式查詢?nèi)ブ匦�率低下，因此考慮使用臨時表來優(yōu)化去重過程。

具體優(yōu)化步驟如下：

1. 首先將新數(shù)據(jù)插入臨時表，其結(jié)構(gòu)與原始表相同。
2. 通過SQL查詢不重復的數(shù)據(jù)DataA。
3. 將DataA插入到原始表中。

鑒于不重復數(shù)據(jù)還需要進一步處理，若無需特殊處理，可直接使用 insert into select 語句將第2步的數(shù)據(jù)插入原始表，并清空臨時表。

第2步有兩種方式，一種是使用 not exists 查詢方法，另一種是利用 left join 方式。

測試結(jié)果表明，當臨時表數(shù)據(jù)量較少時， not exists 方式耗時相對較短，但隨著數(shù)據(jù)量增加耗時逐漸增加。而 left join 方式在數(shù)據(jù)量較少時用時較長，但隨著數(shù)據(jù)量增加變化不大。因此，總結(jié)出單表去重時，只要導入的數(shù)據(jù)量不是特別特別大（20w級以上），優(yōu)先使用 not exists 做去重。

然而，當需要對兩個表進行去重時，情況會有所不同。在這種情況下，測試結(jié)果顯示對于數(shù)據(jù)量較少的臨時表， not exists 方式用時相對較短，但隨著數(shù)據(jù)量增加耗時急劇增加。而 left join 方式對于數(shù)據(jù)量較少時用時較長，但隨著數(shù)據(jù)量增加變化不大。因此，當導入的數(shù)據(jù)在3w以下時，建議使用 not exists ；在3w以上時，建議使用 left join 。

• 「銀幕綺旅 拾光之約」萬達電影×原神 周年慶限時合作即將上線
• 為什么我的戰(zhàn)力上不去？《龍族：卡塞爾之門》伙伴培養(yǎng)攻略指南
• 《歡欣森活》游戲玩法類型介紹
• 無懼黑夜，一戰(zhàn)封神！狼人殺英雄聯(lián)賽總決賽晉級門派集結(jié)
• 戰(zhàn)錘40K星際戰(zhàn)士2上線限免加速，暢玩加速器推薦免費下載