PostgreSQL數(shù)據(jù)庫臨時(shí)表去重效率比較與優(yōu)化策略

最近在處理大數(shù)據(jù)量（十萬級）導(dǎo)入時(shí)，發(fā)現(xiàn)某些字段和數(shù)據(jù)庫表里的數(shù)據(jù)（千萬級）重復(fù)，需要進(jìn)行去重處理。由于用程序方式查詢?nèi)ブ匦�率低下，因此考慮使用臨時(shí)表來優(yōu)化去重過程。

具體優(yōu)化步驟如下：

1. 首先將新數(shù)據(jù)插入臨時(shí)表，其結(jié)構(gòu)與原始表相同。
2. 通過SQL查詢不重復(fù)的數(shù)據(jù)DataA。
3. 將DataA插入到原始表中。

鑒于不重復(fù)數(shù)據(jù)還需要進(jìn)一步處理，若無需特殊處理，可直接使用 insert into select 語句將第2步的數(shù)據(jù)插入原始表，并清空臨時(shí)表。

第2步有兩種方式，一種是使用 not exists 查詢方法，另一種是利用 left join 方式。

測試結(jié)果表明，當(dāng)臨時(shí)表數(shù)據(jù)量較少時(shí)， not exists 方式耗時(shí)相對較短，但隨著數(shù)據(jù)量增加耗時(shí)逐漸增加。而 left join 方式在數(shù)據(jù)量較少時(shí)用時(shí)較長，但隨著數(shù)據(jù)量增加變化不大。因此，總結(jié)出單表去重時(shí)，只要導(dǎo)入的數(shù)據(jù)量不是特別特別大（20w級以上），優(yōu)先使用 not exists 做去重。

然而，當(dāng)需要對兩個(gè)表進(jìn)行去重時(shí)，情況會(huì)有所不同。在這種情況下，測試結(jié)果顯示對于數(shù)據(jù)量較少的臨時(shí)表， not exists 方式用時(shí)相對較短，但隨著數(shù)據(jù)量增加耗時(shí)急劇增加。而 left join 方式對于數(shù)據(jù)量較少時(shí)用時(shí)較長，但隨著數(shù)據(jù)量增加變化不大。因此，當(dāng)導(dǎo)入的數(shù)據(jù)在3w以下時(shí)，建議使用 not exists ；在3w以上時(shí)，建議使用 left join 。

• 《航海王-啟航》游戲攻略：探索目前的主流玩法與推薦角色詳解
• 《鬼谷八荒》聲望提升攻略分享詳情
• 手游幻想14水晶世界初體驗(yàn)分享
• 人間地獄實(shí)用設(shè)置攻略
• 戰(zhàn)雙帕彌什新手開局怎么玩分享