Office: CSV Datei mit Makro filtern und abspeichern

Hallo zusammen,

habe folgendes Problem. Ich bearbeite recht große csv Dateien (1,5GB) die ich immer nach gleichen Kriterien filtere, da nicht alle Datensätze benötigt werden.

Jetzt wollte ich fragen, ob dies auch mit Hilfe eines Makros gehen würde,
sprich die csv Datei, nach bestimmten Kriterien filtern und das Ergebnis in
einer neuen csv Datei abspeichern?

Für Eure Hilfe bedanke ich mich im Voraus!

Schönen Gruß

:)

 

Hi,

zeichen deine Schritte mit dem Makrorekorder auf.

 

Hallo Schöner Gruß,

wow, das sind ja Monster.

Über wie viele Datenzeilen reden wir? Könnte die Excel überhaupt noch darstellen? Sonst bis Du sowieso bei anderen Methoden.

Ansonsten würde ich versuchen:
- Einlesen in eine Datenbank, darin filtern und ausgeben
- direkter Zugriff mit Datenbankmethoden (SQL) auf die CSV-Datei

Grüße
EarlFred

 

*wink.gif* auf die Idee bin ich auch schon gekommen. Aber wenn ich die Datei gefiltert habe und nur die benötigten Werte angezeigt werden, klappt es mit dem Speichern nicht. Denn wenn ich das Ergebnis speichern will (Speichern als, neuer csv Name) so wird mir die gleiche Menge an Datensätzen gespeichert wie vorher, sprich das gefilterte wird nicht gespeichert *frown.gif*

 

servus,

genau darum geht´s ich importiere die csv ins access *wink.gif*
und die größe packt access nicht mehr, daher muss ich die csv vorher
aufbereiten (filtern) damit die dateigröße kleiner ausfällt.
und da, das gefilterte ergebnis nicht gespeichert wird (liegt wohl an csv)
kopiere ich die datensätze in eine neue csv datei *frown.gif* was wirklich nervt und
lange dauert. deswegen dachte ich, dass das filtern und das abspeichern des gefilterten ergebnisses über ein makro laufen könnte.....

 

servus,

genau darum geht´s ich importiere die csv ins access
und die größe packt access nicht mehr, daher muss ich die csv vorher
aufbereiten (filtern) damit die dateigröße kleiner ausfällt.
und da, das gefilterte ergebnis nicht gespeichert wird (liegt wohl an csv)
kopiere ich die datensätze in eine neue csv datei was wirklich nervt und
lange dauert. deswegen dachte ich, dass das filtern und das abspeichern des gefilterten ergebnisses über ein makro laufen könnte.....

 

Hallo Name?,

dann wär's toll, wenn dagestanden hätte. Warum wird so oft ein erdachter Umweg beschrieben anstelle das eigentliche Ziel?

Aber Excel schon?

Eine CSV-Datei ist reiner Text und kennt daher keine Filter. Filter sind Hilfsmittel in diversen Programmen wie Access, Excel usw., die aber keine Auswirkung auf die Textdatei selbst haben können. Es müsste also ein gesonderter Export des Filterergebnisses in eine (neue) Textdatei stattfinden.

Wenn mein Vorschlag 1 also von Dir schon erfolglos getestet wurde, wäre da immer noch Vorschlag 2: Mittels Datenbanktreiber (SQL) eine Abfrage auf die CSV-Datei abzusetzen und das Ergebnis (Recordset) weiter bearbeiten. Wenn Access ohnehin das Ziel ist, würde ich auch Access nehmen, um mittels Abfrage auf die CSV zuzugreifen. Das Recordset dann in eine Tabelle einzfügen dürfte ja nicht der Hit sein.

Grüße
EarlFred

 

Hallo,

also ich würde den Vorschlag präferieren:

>> Es müsste also ein gesonderter Export des Filterergebnisses in eine (neue) Textdatei stattfinden.

und am besten wenn man die Filterkriterien und das Abspeichern in ein Makro packen könnte. Nur wie *frown.gif*

 

Hallo Name?,

ganz ehrlich: Klingt nach dem schlechtesten Weg - aber mach.
Filtere "anders herum" und lösche alles, was Du findest. Speichere den Rest oder kopiere beim filtern "richtig herum" das Gefundene in ein neues Blatt. Alternativ: Nutze den Spezialfilter und filtere an einen anderen Ort. Das kannst Du alles auch aufzeichnen. Die Qualität und Performance des Makros entspricht bei den riesigen Datenmengen dann aber vermutlich der des Vorgehens insgesamt.

Auch wenn ich Deine Aversion gegenüber Datenbankmethoden nicht nachvollziehen kann, wäre es m. E. immer noch besser, die Bearbeitung komplett in VBA auszulagern anstelle auf einem Tabellenblatt zu arbeiten.

Grüße
EarlFred

 

Hallo,

SQL-Abfrage auf CSV-Datei

Mich würde dennoch interessieren wie viele Datensätze das sind?

Und wie der Aufbau ist (die ersten 10 Zeilen) und nach welchen Felder was gefiltert werden soll?!

 

Das sind dann wohl mehrere?
Ein Accessfile darf bis etwa 2 GB groß werden. Da könnte also der Import in eine leere DB eventuell schon grenzfällig sein, wenn man berücksichtigt, dass durch die Verwaltung von Daten etwas mehr Overhead entsteht als bei purem Plaintext wie in einer CSV.
Da würde ich aber auch Zeilenzahlen erwarten, mit denen wiederum Excel überfordert ist.

Neben der Beantwortung der vielen bisher unbeantworteten Fragen könntest Du vielleicht darstellen, was Du eigentlich machen willst. Irgendwelche Daten irgendwohin hineinstecken ist ja wohl kein Endziel. Daten werden ja üblicherweise verarbeitet (EDV?).

Daneben könnte man zwei Überlegungen anstellen:
1) Wenn Access zu klein ist (man berücksichtige auch spätere Verarbeitungen), könnte man sich gleich um ein Datenbanksystem mit ausreichenden Spezifikationen kümmern.
2) Wenn man schon beim Überlegen ist: Irgendein (DB-)System spukt ja solche Dateien aus. Man könnte auf die Idee kommen, gleich da an der richtigen Schraube zu drehen und dann eben nur die benötigten Informationen herausgeben, die dann auch für Normalos verwendbar sind.
Noch etwas gescheiter wäre es, direkt in diesem System auszuwerten und nur das Ergebnis auszugeben.

 

Hallo und danke für die rege Teilnahme!

Hier nochmals eine Zusammenfassung:

Ausgangssituation: ich erhalte eine csv Datei, die ich im Nachgang in Access importiere und dort meine Abfragen ausführe.

Problem: die csv Datei wird monatlich kumuliert, dh. immer größer, gegenwärtig ca. 1,6GB (15 Spalten mit 10197375 Datensätzen) Es wurde also eine kritische Größe erreicht, die Access nicht mehr importieren kann. Daher öffne ich die csv und filtere sie (bestimmte Filterkriterien) nach den tatsächlich benötigten Datensätzen. Die wiederum kopiere ich per Hand in eine neue csv Datei. Diese ist dann entsprechend kleiner und kann in Access importiert werden.

Lösung: ich suche nach einer Möglichkeit, die die scv Datei nach den festen Filterkriterien filtert und das gefilterte Ergebnis in einer neuen csv Datei speichert. Am besten makro-gesteuert.

Grüße
Tom

 

Hallo,

hier ein Beispiel um Txt zu filtern:

Code:

 

Wenn das Accessfile nicht leer ist, wird es halt eng, wie oben schon gesagt. Ein Komprimieren nach Löschungen sollte man auch nicht vergessen, belegter Speicher und anwesende Daten können unterschiedliche Dinge sein.
Ein purer Import ist aber auch kein wesentlicher Fortschritt. Wenn man die CSV in die Datenbank verknüpft, zählt sie als eigene Datenbank mit dann wieder 2 GB Verarbeitungsvermögen.
Eine verknüpfte Tabelle ist wiederum genau so lesbar wie eine interne Tabelle und so lange nicht nachteilig, bis die alternativ importierte Tabelle zusätzlich indiziert wäre. Pure Datenanwesenheit hat man auch bei Verknüpfung.

Was würde denn damit im Nachgang passieren?

Wenn man genügend Schritte zurück geht, wird der Balken vor den Augen zur Haarlinie am Horizont ...

Auch: Ein wenig Kenntnis der Anwendungen, die man benutzt, tut gut. Etwas Try&Error kann an der Stelle etwas Ausbildung nicht ersetzen.

 

Hallo & danke für das Beispiel.

Leider bin ich in VBA ne Null *frown.gif*