Office: (Office 2010) Doppelte Datensätze finden und löschen

Hi,

hab ein kleines Problem.
Die Daten für meine DB bekomme ich von einem Prpgramm als .mdb wochenweise (ohne Primärschlüssel), diese füge ich dann immer einer .mdb an um alles zusammen auswerten zu können.
Tja leider war ich mal unaufmerksam und jetzt sind einige Wochen dopplet enthalten.
Ich könnte die Daten jetzt manuell löschen aber das ist mühselig und funktioniert nur wenn man weiss, dass Daten doppelt vorhanden sind.
Jetzt meine Frage: Wie kann ich meine DB nach doppelten Datensätzen durchsuchen und dieses löschen. Mit der Abfrage zur Duplikatesuche bekomme ich es nicht hin.
Einzellne Daten gibt es dopplet aber den kompletten Datensatz darf es nciht dopplet geben



Vielen Dank schon mal für eure Hilfe

:)

 

Es gibt natürlich verschiedene Möglichkeiten.
Ich gehe davon aus, dass die Gesamttabelle einen Primärschlüssel hat.
Dann könntest mittels Gruppierung herausfinden, welche Datensätze doppelt sind:


Select Min(ID) AS Erster, Max(ID) AS Zweiter from Tabelle Group By Feld2, Feld3 ...

Wenn sich Erster und Zweiter unterscheiden, dann kommen die Daten mehrfach vor. Die kannst Du dann per Aktionsabfrage sofort löschen.

LG Markus

 

Hallo,

hmmm, mit einer Gruppierabfrage löschen, ob das funktioniert?
Ich würde es mit In versuchen...
Code:

Erst alles kontrollieren ob nichts gelöscht wird was noch zu brauchen ist und erst dann löschen *Smilie
Die Sortierung muss nicht unbedingt sein, kannst auch nach der ID sortieren oder gar nicht.

 

Mit meinen Add-in Duplikate suchen und entfernen kannst du mit dem Assistenten solch eine Abfrage erstellen.
Funktioniert wie der integrierte Assistent von MS, nur das meiner nicht nur die doppelten findet, sondern auch noch löschen kann, und zwar nur die doppelten.

G
JPA

 

...so lernst aber nichts, selber erstellen ist besser *Smilie

 

Löschen ... ist einfach.

Duplikate löschen ist auch einfach. Man müsste aber an Hand der Daten identifizieren können, was denn Duplikate als solche kennzeichnet. Hast Du da konkrete Vorstellungen?

Solltest Du von den Duplikaten jeweils einen Datensatz behalten wollen, müsste man diesen identifizieren können, damit man alles außer diesen bewahrenswerten Datensätzen löschen kann => so funktioniert SQL.

Angenommen, Du hast beim Import eine eindeutige ID per Autowert vergeben. Dann sollte folgende Abfrage Duplikate löschen bei Beibehaltung jeweils eines Datensatzes aus der Duplikatsgruppe, und zwar jenem mit der niedrigsten ID (quasi dem zuerst importierten Datensatz).
Code:

Üblicherweise verhindert man unerwünschte Duplikate gleich mit einem eindeutigen Index auf den Duplikatsschluessel. So verhindert die Datenbank automatisch Duplikate, egal wie sie erzeugt werden sollen.
Geschickterweise importiert man zusätzlich nicht immer ganze Tabellen wie sie kommen, sondern nur die Datensätze, die noch nicht vorhanden sind. So kann man Schlüsselfehler vermeiden, und es wird technisch etwas schneller ablaufen.
Eine Anfügeabfrage mit dieser Inkonsistenzprüfung kann man beliebig oft laufen lassen, also man darf da auch mal träumen.

 

Man lernt schon dabei, weil der Assistent ein ganz "normale" abfrage erstellt die man einsehen kann, woran man die Technik nochzuvollziehen kann.

Das Beispiel von Eberhard ist passt. Wenn man sich nicht nach der ID richten will, sondern nach einem anderen Feld (Datum Z.B.), dann muss die Abfrage noch etwas umgebaut werden...

Gruß
JPA

 

...meine Abfrage getestet und funktioniert.

 

Ich würde einfach noch einmal wiederholen wollen: Wenn man ungewünschte Duplikate in Stammdatentabellen entfernen will oder muss, hat man VORHER FEHLER gemacht.

Ein Add-In zum Löschen von Duplikaten, egal wie gut es gemacht ist, manifestiert das Fehlermachen zur "üblichen" Sache und erspart ein vorheriges Nachdenken und gezieltes Handeln?

Ich setze das in etwa mit RegEx gleich: Technisch ist das Ganze spannend und anregend, aber in einer gut geplanten Umgebung (inkl. Umsetzung) sollte das schlicht unnötig sein.
In Datenaustauschdateien sind mir Duplikate ziemlich egal. Es wird ja allerhand "produziert". Ein Import ist aber die Schnittstelle zu meiner DB, und da möchte ich in allen Schritten und also sofort Herr des Geschehens sein. Wenn ich Datenmüll nicht zulasse, muss ich ihn nicht aufräumen ... was technisch bzw. programmatisch auch durchaus einfacher sein kann.
Oder auch: Auch wenn ich technisch Duplikate löschen kann, will ich gar nicht erst in die Lage dazu kommen, es tun zu müssen. Man kann ja auch am Rande eines Abgrundes stehen und gehen können ...

Ein mögliches umgesetztes Nachdenken könnte sich schon so zeigen, dass man nur aus einem gezielten Ordner Dateien für einen Import heranzieht und dann jene Datei, die importiert wurde, unmittelbar löscht oder in einen Archivordner verschiebt. Wenn man Abläufe durchdenkt und plant, ergeben sich durchaus ganz andere Aufgaben und Codes.

 

\@JPA...

ja, so gesehen, kann man auch etwas davon lernen, habe ich gestern wohl nicht bedacht!

 

Hi, sorry das ich mich erst jetzt wieder melde, hatte kaum Zeit.

Ich habe jetzt eine Lösung gefunden und möchte sie einfach mal vorstellen.
Entspricht glaube markusxy's Vorschlag.

Einen Primärschlüssel hab ich leider nicht, aber beim import der Daten erstelle ich eine ID per Autowert.
Ich habe aber trotzdem ein einzigartiges Feld in jedem Datensatz, dieses gruppiere ich und lasse mir den kleinsten Wert der ID anzeigen.
In der Löschabfrage lösche ich alle Datensätze die in der andere Abfrage nicht enthalten sind.
Funktioniert gut nur dauert es etwa 20min bei 16000 Datensätzen (Daten von einer Woche → mal sehn wie das bei einem Jahr wird XD)

vielen Dank für eure Hilfe

 

Überproportional länger.
Performance total mies
sowie Grundlagen - SQL ist leicht (8) - Index

 

unglaublich was ein "Not Exists" im Vergleich zu "Nicht In" ausmacht.

Vielen Dank ebs17