oracle 刪除重復數(shù)據(jù)
2024-08-29 13:56:32
供稿：網(wǎng)友
重復的數(shù)據(jù)可能有這樣兩種情況，第一種: 表中只有某些字段一樣，第二種是兩行記錄完全一樣。
一、對于部分字段重復數(shù)據(jù)的刪除
1.查詢重復的數(shù)據(jù)
select 字段1,字段2, count(*) from 表名 group by 字段1,字段2 having count(*) > 1
例：Select owner from dba_tables group by owner having count(*)>1;
Select owner from dba_tables group by owner having count(*)=1; //查詢出沒有重復的數(shù)據(jù)
2.刪除重復的數(shù)據(jù)
delete from 表名 a where 字段1,字段2 in (select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1)
這種刪除執(zhí)行的效率非常低，對于大數(shù)據(jù)量來說，可能會將數(shù)據(jù)庫吊死。
另一種高效率的方法是先將查詢到的重復的數(shù)據(jù)插入到一個臨時表中，然后再進行刪除。
CREATE TABLE 臨時表 AS
(
select 字段1,字段2, count(*) as row_num
from 表名
group by 字段1,字段2
having count(*) > 1
);
上面這句話就是建立了臨時表，并將查詢到的數(shù)據(jù)插入其中。
下面就可以進行這樣的刪除操作了：
delete from 表名 a
where 字段1,字段2 in (select 字段1，字段2 from 臨時表);
3.保留重復數(shù)據(jù)中最新的一條記錄
在Oracle中，rowid是隱藏字段，用來唯一標識每條記錄。所以，只要保留重復數(shù)據(jù)中rowid最大的一條記錄就可以了?！ ?
查詢重復數(shù)據(jù):
select a.rowid,a.* from 表名 a
where a.rowid != (
select max(b.rowid) from 表名 b
where a.字段1 = b.字段1 and a.字段2 = b.字段2 );
例：selete from dba_tables a
where a.rowid!=(
select max(rowid) from test b
where a.owner=b.owner);
刪除重復數(shù)據(jù)，只保留最新的一條數(shù)據(jù)：
delete from 表名 a
where a.rowid != (
select max(b.rowid) from 表名 b
where a.字段1 = b.字段1 and a.字段2 = b.字段2 )
使用臨時表實現(xiàn)高效查詢
create table 臨時表 as
（select a.字段1, a.字段2, MAX(a.ROWID) as dataid from 正式表 a
GROUP BY a.字段1,a.字段2);
delete from 表名 a
where a.rowid !=
( select b.dataid from 臨時表 b
where a.字段1 = b.字段1 and
a.字段2 = b.字段2 );
commit;
二、對于完全重復記錄的刪除
對于表中兩行記錄完全一樣的情況，可以用下面語句獲取到去掉重復數(shù)據(jù)后的記錄：
select distinct * from 表名
可以將查詢的記錄放到臨時表中，然后再將原來的表記錄刪除，最后將臨時表的數(shù)據(jù)導回原來的表中。如下：
CREATE TABLE 臨時表 AS (select distinct * from 表名);
drop table 正式表;
insert into 正式表 (select * from 臨時表);
drop table 臨時表; 假如想刪除一個表的重復數(shù)據(jù)，可以先建一個臨時表，將去掉重復數(shù)據(jù)后的數(shù)據(jù)導入到臨時表，然后在從臨時表將數(shù)據(jù)導入正式表中，如下： INSERT INTO t_table_bak
select distinct * from t_table;
