Office: Extrem große txt Datei einlesen und bearbeiten

Hallo zusammen,

ich habe seit vielen Jahren nicht mehr mit VBA gearbeitet und versuche mich gerade wieder zurechtzufinden. Man vergisst so einiges!

Mein Code soll mir das bearbeiten von sehr langen txt Dateien automatisieren.
Die Daten liegen als xyz Datei vor und beinhalten Koordinaten mit den 3 Werten Rechtswert(y), Hochwert(x) und Höhe(z).
Nun müssen diese Daten mit einer fortlaufenden Punktnummer, einem gemeinsamen Punktcode und evtl. einer Additionskonstante für die Koordinaten versehen werden.
Nur so können die Daten von einem anderen Programm verarbeitet werden.

Das erste Problem ist, dass die Dateien schon mal über 2 Millionen Datensätze haben können!
Beim manuellen Bearbeiten mußte die Datei deshalb, vor dem Import in Excel, in 2 Teile aufgespalten werden. Bei ca 1,2 Millionen Zeilen ist Schluß mit lustig!

Den Code für Import habe ich mittlerweile hinbekommen, hab dafür ein Makro aus irgendeinem Forum genommen und angepasst.
Das Ganze funktioniert bei kleineren Dateien wunderbar.
Kann man die Anzahl der Daten vor dem Import bestimmen?
Ich habe da im Netz nichts gefunden !
Sollte das nicht möglich sein, könnte ich damit leben die (seltenen) übergroßen Dateien, vorher zu splitten.
Viel schlimmer ist, dass meine ForNext Schleife für das Einfügen von Punktnummer und Code, nicht funktioniert!
Das hatte ich mir eigentlich einfacher vorgestellt.
Wenn ich den Code ohne UserForm und Textfelder mit definierten Variablen starte, funktioniert alles.
Beim Ausführen über den StartButtom scheint sich Excel aufzuhängen und macht einfach garnichts.
Vielleicht findet hier jemand den Fehler, oder kennt sogar die Lösung für die übergroßen Dateien!
Hier mal mein Makro:

Code:

Und so sehen die Rohdaten aus:

456154.057 5724899.390 77.602
456154.557 5724899.390 77.527
456155.057 5724899.390 77.438
456155.557 5724899.390 77.342
456156.057 5724899.390 77.323
456156.557 5724899.390 77.351

Ich bin für jede Hilfe dankbar !

:)

 

Hi Werner,

verwende doch die Open-Methode um die Textdatei anschließend Zeilenweise einzulesen.
1048576 Zeilen hast Du wohl in einem Arbeitsblatt.
Aber auch 16384 Spalten.

Spricht was dagegen die restlichen Spalten mit zu verwenden?

 

Hallo,

anstatt mit VBA würde ich die mit Power Query (Get & Transform) realisieren.

Anhand deiner Rohdaten und dem VBA-Code kann ich aber nicht erkennen, wie das Ergebnis aussehen soll.

Wenn du das besser erläuterst, dann kann ich dir vermutlich eine PQ-Lösung zeigen.

Power Query ist seit der Version 2016 immer an Board und kann ab der Version 2010 kostenlos nachgerüstet werden. Bei der 2010er Version gibt es aber u.U. Einschränkungen.

 

Sieht so aus, als könnte mand das mit Power Query bzw. Get & Transform machen:

https://blogs.technet.microsoft.com/...ws-into-excel/

Ansonsten neben einer Datenbank-Lösung hilft wie immer google
https://excel.tips.net/T002533_Impor...ata_Files.html
Importing Big Text Files Into Excel

Und damit bin ich wieder raus. Es gibt IMHO gute Lösungsvorschläge dazu im WWW.

 

Danke für die Antworten,

ich würde schon gerne bei Excel bleiben, von PowerQuery hab ich noch nichts gehört.
Die Spalten kann ich wohl nicht alle nutzen, da die Datei am Ende als CSV Datei exportiert werden muss. Ich kann mir nicht vorstellen das Excel den Export hinbekommt wenn die Daten nicht alle in der richtigen Spalte stehen.
So sollen die Daten nachher aussehen:
vorher:
456154.057 5724899.390 77.602
456154.557 5724899.390 77.527
....
nachher:
10001 4 32456154.057 5724899.390 77.602
10002 4 32456154.557 5724899.390 77.527
....
Wie gesagt, wenn das mit dem Splitten nicht geht wäre es kein Beinbruch die Datei vorher zu teilen und seperat zu bearbeiten.
Wichtiger ist mir die ForNext Schleife, ich finde einfach den Fehler nicht.
Die Variable "Zeilenanzahl" wird richtig ermittelt und in der UserForm angezeigt.
Der Wert für pnr wird über ein Textfeld eingegeben, Punktcode, addy und addx
habe ich vorher in einem Kombinationsfeld vorgegeben.
Die Werte für addy und addx fehlen noch im Code, da ich schon beim Einfügen von Punktnummer und Punktcode scheitere.

 

Und Danke Storax für die Links, das werde ich mir genauer anschauen, klingt vielversprechend!

 

Also brauchst excel nur zum verarbeiten?
So genügt es dir doch die Dateien einzulesen, zu verarbeiten und direkt wieder eine Textdatei zu schreiben.

Schau die Dir() sowie Open() Methode an.

 

Guter Punkt @Mase.

Dann ist es im Grunde einfacher, sed oder awk erledigen so etwas.
Dürfte sich mit den Tools nur um wenige Zeilen Code handeln wenn nicht gar nur eine Zeile.

Oder man nimmt Powershell.

Aber wie so oft, wer nur einen Hammer hat, für den sieht jedes Problem wie ein Nagel aus.

 

I know - versuche Wunsch des TO, Excel aufgrund alter Erfahrungen zu halten, zu berücksichtigen.

 

Hallo,

Power Query ist ein Teil von Excel !!!!

Jetzt sehe ich zwar vorher und nachher, aber nach welcher Logik sich " Regeln sich "nachher" ergibt, erschliesst sich mir dadurch immer noch nicht.

 

Hallo Mase,
die Prozedur habe ich ja schon einige Male gemacht, ist ja auch nicht schwierig.
Aber man bekommt beim Auffüllen der Zellen einen Krampf in der Hand!
Es handelt sich ja um Files mit 500000 - 2Mio Einträgen!
Diese Schinderei soll Excel für mich erledigen, und das sieht ja mit einer schönen Userform richtig gut aus!
Es wäre toll wenn sich jemand mal den Code vom Startbuttom genauer ansehen könnte:

Code:

Anscheinend liegt es an der Abfrage der Werte aus den jeweiligen Textboxen.
Vielleicht ist ja Value nicht angebracht?

 

Hallo WS 53,

die Regel ist folgende:
Die Daten aus der txtDatei werden in Spalte C-E geschrieben
(Das klappt auch)
Mit der Schleife sollen die Spalte A mit der eingegebenen Punktnummer(aus Textbox) aufsteigend gefüllt werden.
In Spalte B kommt der Punktcode z.B. 4 und dann sollen noch die Koordinaten der Spalte C und D mit einer Konstanten ( bei Y z.B. 32000000) addiert werden.

 

Werner,
wozu die Textbox bei bis zu 2 mio Datensätze ?

 

Mase,
mit der Textbox möchte ich den Anfangswert der Punktnummer, den Punktcode (mit Listenfeld) und die Additionskonstanten eingeben können.
Diese Werte sind nicht immer gleich und ich finde, dass so ein Formular immer was hermacht.
Im Prinzip kann ich das Makro dann für jede meiner Dateien anwenden und brauche nur auf 3 Knöpfe zu drücken.
Schließlich brauche ich für das Erzeugen der Daten schon einiges an Arbeitszeit, da soll das Umwandeln möglichst automatisiert erfolgen.

 

zu Problem 1)
Textdatei mit 'Input As ' zeilenweise lesen, mit UserForm Startdaten verändern und mit 'Output As' in eine Textdatei schreiben.

Zu Problem 2)
Mal Deine Datei und ne Txt (anonymisiert) hochladen. Dann würde ich (bzw sicherlich auch Andere) reinschauen