PostgreSQL數(shù)據(jù)庫(kù)臨時(shí)表去重效率比較與優(yōu)化策略

最近在處理大數(shù)據(jù)量（十萬(wàn)級(jí)）導(dǎo)入時(shí)，發(fā)現(xiàn)某些字段和數(shù)據(jù)庫(kù)表里的數(shù)據(jù)（千萬(wàn)級(jí)）重復(fù)，需要進(jìn)行去重處理。由于用程序方式查詢?nèi)ブ匦�率低下，因此考慮使用臨時(shí)表來(lái)優(yōu)化去重過(guò)程。

具體優(yōu)化步驟如下：

1. 首先將新數(shù)據(jù)插入臨時(shí)表，其結(jié)構(gòu)與原始表相同。
2. 通過(guò)SQL查詢不重復(fù)的數(shù)據(jù)DataA。
3. 將DataA插入到原始表中。

鑒于不重復(fù)數(shù)據(jù)還需要進(jìn)一步處理，若無(wú)需特殊處理，可直接使用 insert into select 語(yǔ)句將第2步的數(shù)據(jù)插入原始表，并清空臨時(shí)表。

第2步有兩種方式，一種是使用 not exists 查詢方法，另一種是利用 left join 方式。

測(cè)試結(jié)果表明，當(dāng)臨時(shí)表數(shù)據(jù)量較少時(shí)， not exists 方式耗時(shí)相對(duì)較短，但隨著數(shù)據(jù)量增加耗時(shí)逐漸增加。而 left join 方式在數(shù)據(jù)量較少時(shí)用時(shí)較長(zhǎng)，但隨著數(shù)據(jù)量增加變化不大。因此，總結(jié)出單表去重時(shí)，只要導(dǎo)入的數(shù)據(jù)量不是特別特別大（20w級(jí)以上），優(yōu)先使用 not exists 做去重。

然而，當(dāng)需要對(duì)兩個(gè)表進(jìn)行去重時(shí)，情況會(huì)有所不同。在這種情況下，測(cè)試結(jié)果顯示對(duì)于數(shù)據(jù)量較少的臨時(shí)表， not exists 方式用時(shí)相對(duì)較短，但隨著數(shù)據(jù)量增加耗時(shí)急劇增加。而 left join 方式對(duì)于數(shù)據(jù)量較少時(shí)用時(shí)較長(zhǎng)，但隨著數(shù)據(jù)量增加變化不大。因此，當(dāng)導(dǎo)入的數(shù)據(jù)在3w以下時(shí)，建議使用 not exists ；在3w以上時(shí)，建議使用 left join 。

• 《暗喻幻想：ReFantazio》尤法社群等級(jí)提升作用介紹
• 【長(zhǎng)城守望】新服開(kāi)啟！沖榜就送非遺城磚
• 《寶可夢(mèng)大集結(jié)》路卡利歐技能圖鑒
• 《塞爾達(dá)傳說(shuō) 智慧的再現(xiàn)》螺旋甜味冰沙怎么制作
• 《仙劍世界》黑蜘蛛森林寶箱開(kāi)啟方法