# MySQL 處理重復數據
有些 MySQL 數據表中可能存在重復的記錄,有些情況我們允許重復數據的存在,但有時候我們也需要刪除這些重復的數據。
本章節我們將為大家介紹如何防止數據表出現重復數據及如何刪除數據表中的重復數據。
* * *
## 防止表中出現重復數據
你可以在 MySQL 數據表中設置指定的字段為**PRIMARY KEY(主鍵)**或者**UNIQUE(唯一)**索引來保證數據的唯一性。
讓我們嘗試一個實例:下表中無索引及主鍵,所以該表允許出現多條重復記錄。
~~~
CREATE TABLE person_tbl
(
first_name CHAR(20),
last_name CHAR(20),
sex CHAR(10)
);
~~~
如果你想設置表中字段 first\_name,last\_name 數據不能重復,你可以設置雙主鍵模式來設置數據的唯一性, 如果你設置了雙主鍵,那么那個鍵的默認值不能為 NULL,可設置為 NOT NULL。如下所示:
~~~
CREATE TABLE person_tbl
(
first_name CHAR(20) NOT NULL,
last_name CHAR(20) NOT NULL,
sex CHAR(10),
PRIMARY KEY (last_name, first_name)
);
~~~
如果我們設置了唯一索引,那么在插入重復數據時,SQL 語句將無法執行成功,并拋出錯。
INSERT IGNORE INTO 與 INSERT INTO 的區別就是 INSERT IGNORE INTO 會忽略數據庫中已經存在的數據,如果數據庫沒有數據,就插入新的數據,如果有數據的話就跳過這條數據。這樣就可以保留數據庫中已經存在數據,達到在間隙中插入數據的目的。
以下實例使用了 INSERT IGNORE INTO,執行后不會出錯,也不會向數據表中插入重復數據:
~~~
mysql> INSERT IGNORE INTO person_tbl (last_name, first_name)
-> VALUES( 'Jay', 'Thomas');
Query OK, 1 row affected (0.00 sec)
mysql> INSERT IGNORE INTO person_tbl (last_name, first_name)
-> VALUES( 'Jay', 'Thomas');
Query OK, 0 rows affected (0.00 sec)
~~~
INSERT IGNORE INTO 當插入數據時,在設置了記錄的唯一性后,如果插入重復數據,將不返回錯誤,只以警告形式返回。 而 REPLACE INTO 如果存在 primary 或 unique 相同的記錄,則先刪除掉。再插入新記錄。
另一種設置數據的唯一性方法是添加一個 UNIQUE 索引,如下所示:
~~~
CREATE TABLE person_tbl
(
first_name CHAR(20) NOT NULL,
last_name CHAR(20) NOT NULL,
sex CHAR(10),
UNIQUE (last_name, first_name)
);
~~~
* * *
## 統計重復數據
以下我們將統計表中 first\_name 和 last\_name的重復記錄數:
~~~
mysql> SELECT COUNT(*) as repetitions, last_name, first_name
-> FROM person_tbl
-> GROUP BY last_name, first_name
-> HAVING repetitions > 1;
~~~
以上查詢語句將返回 person\_tbl 表中重復的記錄數。 一般情況下,查詢重復的值,請執行以下操作:
* 確定哪一列包含的值可能會重復。
* 在列選擇列表使用COUNT(\*)列出的那些列。
* 在GROUP BY子句中列出的列。
* HAVING子句設置重復數大于1。
* * *
## 過濾重復數據
如果你需要讀取不重復的數據可以在 SELECT 語句中使用 DISTINCT 關鍵字來過濾重復數據。
~~~
mysql> SELECT DISTINCT last_name, first_name
-> FROM person_tbl;
~~~
你也可以使用 GROUP BY 來讀取數據表中不重復的數據:
~~~
mysql> SELECT last_name, first_name
-> FROM person_tbl
-> GROUP BY (last_name, first_name);
~~~
* * *
## 刪除重復數據
如果你想刪除數據表中的重復數據,你可以使用以下的SQL語句:
~~~
mysql> CREATE TABLE tmp SELECT last_name, first_name, sex FROM person_tbl GROUP BY (last_name, first_name, sex);
mysql> DROP TABLE person_tbl;
mysql> ALTER TABLE tmp RENAME TO person_tbl;
~~~
當然你也可以在數據表中添加 INDEX(索引) 和 PRIMAY KEY(主鍵)這種簡單的方法來刪除表中的重復記錄。方法如下:
~~~
mysql> ALTER IGNORE TABLE person_tbl
-> ADD PRIMARY KEY (last_name, first_name);
~~~
[](https://www.runoob.com/mysql/mysql-using-sequences.html)[MySQL 序列使用](https://www.runoob.com/mysql/mysql-using-sequences.html "MySQL 序列使用")
[MySQL 及 SQL 注入](https://www.runoob.com/mysql/mysql-sql-injection.html "MySQL 及 SQL 注入")[](https://www.runoob.com/mysql/mysql-sql-injection.html)
##
select 列名1,count(1) as count
from 表名
group by 列名1
having count>1 and 其他條件
select 列名1,列名2,count(1) as count
from 表名
group by 列名1,列名2
having count>1 and 其他條件
原理:先按照要查詢出現重復數據的列,進行分組查詢。count > 1 代表出現 2 次或 2 次以上。
示例:
*查詢重復數據*
select serialnum,cdate,count(*) as count
from m_8_customer_temp_20180820bak
group by serialnum,cdate having count>1 and cdate>='2018-08-20 00:00:00';
- PHP
- php 簡單語法
- php 語法
- PHP書寫歸范總結
- 代碼縮進
- 變量賦值時候
- if條件判斷
- 避免嵌入式賦值
- 函數和方法的注釋
- php 開發常見問題總結
- 1、查找兩個經緯度之間的距離
- 2、PHP常量詳解:define和const的區別
- 3、常見面試題及特殊情況
- mysql
- MySQL 介紹
- MySQL 及 SQL 注入
- mysql常見問題
- MySQL數據類型
- MySQL where語句
- MySQL alter 命令
- MySQL 索引
- MySQL 復制表
- MySQL 處理重復數據
- redis
- redis介紹
- redis數據類型(共5種 )
- redis常見問題及使用場景
- redis事務
- Redis 分區
- Linux
- Linux介紹
- Linux 系統目錄結構
- Linux 文件與目錄管理
- shell
- Shell 教程介紹
- html+css+js
- 優秀技術文章
- 技術鏈接
- go語言
- go開發規范及注意事項
- go簡單語法
- go開發技術總結
- 博客
- 小程序
- 1、頁面跳轉