Oracle數(shù)據(jù)庫中去除重復數(shù)據(jù)的解決方案

媒迅過濾重復數(shù)據(jù)工具v2.6 綠色版

• 類型：文件處理大�。�2.4M語言：中文 評分：10.0
• 標簽：

立即下載

在平時的開發(fā)中，我們經(jīng)常遇到數(shù)據(jù)表中出現(xiàn)重復的數(shù)據(jù)，那么該如何解決呢？這里介紹兩種情況下的數(shù)據(jù)去重方法，一、完全重復數(shù)據(jù)去重；二、部分字段數(shù)據(jù)重復去重。

一、完全重復數(shù)據(jù)去重方法

對于表中完全重復數(shù)據(jù)去重，可以采用以下SQL語句。

Code

CREATETABLE"#temp"AS (SELECTDISTINCT * FROM 表名);--創(chuàng)建臨時表，并把DISTINCT 去重后的數(shù)據(jù)插入到臨時表中

truncateTABLE 表名;--清空原表數(shù)據(jù)

INSERTINTO 表名(SELECT * FROM"#temp");--將臨時表數(shù)據(jù)插入到原表中

DROPTABLE"#temp";--刪除臨時表

具體思路是，首先創(chuàng)建一個臨時表，然后將DISTINCT之后的表數(shù)據(jù)插入到這個臨時表中；然后清空原表數(shù)據(jù)；再講臨時表中的數(shù)據(jù)插入到原表中；最后刪除臨時表。

二、部分數(shù)據(jù)去重方法

首先查找重復數(shù)據(jù)

select 字段1,字段2,count(*) from 表名 groupby 字段1,字段2 havingcount(*) > 1

將上面的>號改為=號就可以查詢出沒有重復的數(shù)據(jù)了。

想要刪除這些重復的數(shù)據(jù)，可以使用下面語句進行刪除：

deletefrom 表名 a where 字段1,字段2 in

(select 字段1,字段2,count(*) from 表名 groupby 字段1,字段2 havingcount(*) > 1)

上面的語句非常簡單，就是將查詢到的數(shù)據(jù)刪除掉。不過這種刪除執(zhí)行的效率非常低，對于大數(shù)據(jù)量來說，可能會將數(shù)據(jù)庫卡死。

基于上述情況，可以先將查詢到的重復的數(shù)據(jù)插入到一個臨時表中，然后對進行刪除，這樣，執(zhí)行刪除的時候就不用再進行一次查詢了。如下：

CREATETABLE 臨時表 AS

(select 字段1,字段2,count(*) from 表名 groupby 字段1,字段2 havingcount(*) > 1)

下面就可以進行這樣的刪除操作了：

deletefrom 表名 a where 字段1,字段2 in (select 字段1，字段2 from 臨時表);

先建臨時表再進行刪除的操作要比直接用一條語句進行刪除要高效得多。

上面的語句會把所有重復的全都刪除，在oracle中，有個隱藏了自動rowid，里面給每條記錄一個唯一的rowid，我們?nèi)绻�想保留最新的一條記錄，我們就可以利用這個字段，保留重復數(shù)據(jù)中rowid最大的一條記錄就可以了。

下面是查詢重復數(shù)據(jù)的一個例子：

select a.rowid,a.* from 表名 a

where a.rowid !=

(

selectmax(b.rowid) from 表名 b

where a.字段1 = b.字段1 and

a.字段2 = b.字段2

)

上面括號中的語句是查詢出重復數(shù)據(jù)中rowid最大的一條記錄。而外面就是查詢出除了rowid最大之外的其他重復的數(shù)據(jù)了。

由此，我們要刪除重復數(shù)據(jù)，只保留最新的一條數(shù)據(jù)，就可以這樣寫了：

deletefrom 表名 a

where a.rowid !=

(

selectmax(b.rowid) from 表名 b

where a.字段1 = b.字段1 and

a.字段2 = b.字段2

)

同理，上述代碼的執(zhí)行效率畢竟低，所以我們可以考慮建立臨時表，將需要判斷重復的字段、rowid插入臨時表中，然后刪除的時候在進行比較。

createtable 臨時表 as

select a.字段1,a.字段2,MAX(a.ROWID) dataid from 正式表 a GROUPBY a.字段1,a.字段2;

deletefrom 表名 a

where a.rowid !=

(

select b.dataid from 臨時表 b

where a.字段1 = b.字段1 and

a.字段2 = b.字段2

);

commit;