Usuwanie powtarzających się adresów e-mail

[Kamil123]

Witam serdecznie,

Na forum jestem nowy i z góry przepraszam, jeżeli zamieściłem wątek w złym dziale. Zapewne powinien być w dziale z arkuszami kalkulacyjnymi, ale ma dość specyficzny (chyba) temat, więc dodaje tutaj.

Mój problem:

Posiadam 4 małe serwisy internetowe i na każdym z nich zapisują się internauci do newsletterów. Wszystkie bazy zawsze importuje i zapisuje sobie w arkuszu kalkulacyjnym LibreOffice 4.1. Problem polega na tym, że każdy z moich serwisów ma tą samą tematykę i zauważyłem, że około 30-40% adresów e-mail z bazy się powtarza. Istnieje tak możliwość, aby program sam wyszukał powtarzające się adresy (czasami nawet jeden adres powtarza się 4 razy) i zostawił tylko jedną kopię, żeby w całej bazie 1 adres występował tylko 1 raz? Jak już pisałem korzystam z oprogramowania LibreOffice 4.1, może polecacie mi jakiś inny darmowy program w którym można coś takiego zrobić?

Z góry dziękuje za wszystkie odpowiedzi i przy okazji życzę zdrowych, spokojnych i wesołych Świąt Bożego Narodzenia.

Pozdrawiam.

[Jan_J]

Zadanie usuwania duplikatów jest ważne i często spotykane w praktyce, ale

korzystam z oprogramowania LibreOffice 4.1, może polecacie mi jakiś inny darmowy program w którym można coś takiego zrobić?

Skoro masz serwisy, to zapisują gdzieś dane. Użyj dowolnej bazy relacyjnej (SQLite, MySQL, PostgreSQL, innej) i analizuj ich zawartość za pomocą zapytań SQL. Szczególne często wykorzystywane pytania możesz zawrzeć w postaci perspektyw.

Wtedy jesteś w stanie albo wymusić brak powtórzeń już na poziomie samej konstrukcji bazy (klauzula UNIQUE albo PRIMARY KEY), ew. na poziomie zapytania (klauzula DISTINCT ew. zapytanie złożone).