今天在協助開發導表數據時發現有重復的數據,需要去重。去重的方法一般是找到重復數據中的一條,以某一唯一條件去掉其他重復值。oracle中常用的是根據rowid來做,PG中也有一個唯一字段ctid,也可以根據此來做,如果表里設置了oid,數據量不大的情況下也可以。當然如果表中有唯一的序列值,就更方便了。下面是以ctid來刪除重復數據的測試。 測試數據
~~~
postgres=# create table test(id int,name varchar);
CREATE TABLE
postgres=# insert into test values (1,'kenyon');
INSERT 0 1
postgres=# insert into test values (1,'kenyon');
INSERT 0 1
postgres=# insert into test values (1,'kenyon');
INSERT 0 1
postgres=# insert into test values (2,'kenyon_test');
INSERT 0 1
postgres=# insert into test values (2,'kenyon_test');
INSERT 0 1
postgres=# insert into test values (3,'test');
INSERT 0 1
postgres=# insert into test values (5,'test');
INSERT 0 1
postgres=# insert into test values (5,'jackson');
INSERT 0 1
postgres=# select ctid,* from test;
ctid | id | name
-------+----+-------------
(0,1) | 1 | kenyon
(0,2) | 1 | kenyon
(0,3) | 1 | kenyon
(0,4) | 2 | kenyon_test
(0,5) | 2 | kenyon_test
(0,6) | 3 | test
(0,7) | 5 | test
(0,8) | 5 | jackson
(8 rows)
~~~
查詢要保留的數據,以min(ctid)或max(ctid)為準
~~~
postgres=# select ctid,* from test where ctid in (select min(ctid) from test group by id);
ctid | id | name
-------+----+-------------
(0,1) | 1 | kenyon
(0,4) | 2 | kenyon_test
(0,6) | 3 | test
(0,7) | 5 | test
(4 rows)
~~~
刪除重復數據,查看最后結果
~~~
postgres=# delete from test where ctid not in (select min(ctid) from test group by id);
DELETE 4
postgres=# select ctid,* from test;
ctid | id | name
-------+----+-------------
(0,1) | 1 | kenyon
(0,4) | 2 | kenyon_test
(0,6) | 3 | test
(0,7) | 5 | test
(4 rows)
~~~
如果表中已經有標明唯一的序列主鍵值,可以把該值替換上述的ctid直接刪除。
- 數據表
- 模式Schema
- 表的繼承和分區
- 常用數據類型
- 函數和操作符-一
- 函數和操作符-二
- 函數和操作符-三
- 索引
- 事物隔離
- 性能提升技巧
- 服務器配置
- 角色和權限
- 數據庫管理
- 數據庫維護
- 系統表
- 系統視圖
- SQL語言函數
- PL-pgSQL過程語言
- PostgreSQL 序列(SEQUENCE)
- PostgreSQL的時間-日期函數使用
- PostgreSQL 查看數據庫,索引,表,表空間大小
- 用以查詢某表的詳細 包含表字段的注釋信息
- PostgreSQL 系統表查看系統信息
- postgre存儲過程簡單實用方法
- PostgreSQL實用日常維護SQL
- PostgreSQL的時間函數使用整理
- 命令
- pg_ctl控制服務器
- initdb 初始化數據庫簇
- createdb創建數據庫
- dropdb 刪除數據庫
- createuser創建用戶
- dropuser 刪除用戶
- psql交互式工具
- psql命令手冊
- pg_dump 數據庫轉儲
- pg_restore恢復數據庫
- vacuumdb 清理優化數據庫
- reindexdb 數據庫重創索引
- createlang 安裝過程語言
- droplang 刪除過程語言
- pg_upgrade 升級數據庫簇
- 調試存儲過程
- 客戶端命令-一
- 客戶端命令-二
- 使用技巧
- PostgreSQL刪除重復數據
- postgresql 小技巧
- PostgreSQL的10進制與16進制互轉
- PostgreSQL的漢字轉拼音
- Postgres重復數據的更新一例
- PostgreSQL使用with一例
- PostgreSQL在函數內返回returning
- PostgreSQL中的group_concat使用
- PostgreSQL數據庫切割和組合字段函數
- postgresql重復數據的刪除
- PostgreSQL的遞歸查詢(with recursive)
- PostgreSQL函數如何返回數據集
- PostgreSQL分區表(Table Partitioning)應用 - David_Tang - 博客園
- PostgreSQL: function 返回結果集多列和單列的例子
- 利用pgAgent創建定時任務
- 淺談 PostgreSQL 類型轉換類似Oracle
- postgresql在windows(包括win7)下的安裝配置
- PostgreSQL簡介、安裝、用戶管理、啟動關閉、創建刪除數據庫 (2010-11-08 12-52-51)轉載▼標簽: 雜談分類: PostgreSQL
- PostgreSQL的generate_series函數應用
- PostgreSQL 8.3.1 全文檢索(Full Text Search)
- postgresql record 使用
- 備份恢復
- PostgreSQL基于時間點恢復(PITR)
- Postgresql基于時間點恢復PITR案例(二)
- Postgres邏輯備份腳本
- Postgres invalid command \N數據恢復處理