Office: Extrem große txt Datei einlesen und bearbeiten

Wahrscheinlich hast Du Recht, aber bzgl. Beispieldateien ist der OP ja recht geizig.

PS Habe mir mal eine Beispieldatei mit 2 Mio Datensäten erzeugt (immer die gleiche Zeile: 456154.057 5724899.390 77.602)
Der folgende Code belegt "nur" ~300 MB Haupstspeicher
Code:

und hat keinen Effekt auf die Performance.

Da kann man weitere 300 MB fürs Splitten vergeuden, was allerdings dauert (einstelliger Sekundenbereich) *grins
Code:

 

Geringfügig bei "nur" 2Mio Datensätzen, aber dennoch bemerkenswerter Unterschied, wie ich finde:

Schreiben:
WriteLine:	2,039063
Print:	2,828125
Lesen:
ReadFile:	0,113281
Input Line	1,15625

Systeminfo:
Core i7-6700HQ @2,6GHz, 16GB [PC3-14200 (889Mhz)], 64bit Win10, 32bit Office2013


Interessant wäre jetzt noch die PQ-Variante gemessen ...

 

OK, ich gebe zu, dass ein performanterer PC durchaus auch dazu beitragen kann, dass ein Code schneller läuft *wink.gif*

 

Fast so wie die Radfahrer mit Ihren gelben Trikots und Akkuantrieb *tongue.gif*

by the way:

Schreiben: (10Mio)
WriteLine: 14,33984
Print: 14,58203
Lesen:
ReadFile: 0,636718
Input Line 5,72265

Schreiben: (20Mio)
WriteLine: 27,57813
Print: 28,86328

 

Interessant. Bei mir:
0,453125 zu 7,800781

 

Jetzt habt ihr aber Spaß *grins

Vielleicht schreibt einer auf eine SSD, der andere auf eine "stinknormale" HD.

 

*ähem*, pardon. *rolleyes.gif*

@ Storax:
SSD, ein must have *boah

 

Was bisher untersucht wurde, ist, wie viel Zeit die einzelnen Prozesse, separat, in Anspruch nehmen.

[*]einlesen

[*]manipulieren (ungetestet bisher)

[*]ausgeben

Interessant zu wissen wäre es, ob der ReadFile-Vorteil verloren geht,
wenn die Manipulation, durch separates Anpacken in einer Schleife, noch stattfinden muss.

Bei Line Input würde ich das direkt mitmachen.

Es sei denn, WriteFile, holt den Verlust wieder auf ...

Mal n Versuch wert.

 

Ggf. könnte man noch das Einlesen/Schreiben der Dateien per ADO testen. Vielleicht gibt es hier auch einen Geschwindigkeitsunterschied?
Siehe z.B. hier: Online - Excel Programmierung VBA Makro: ADO und Excel (8) - Textdateien einlesen simpel
Eventuell gibt es auch zwischen den Database-Engines (JET vs. ACE) noch Unterschiede (bei einer Anwendung mit Textdateien, die ca. 60.000-150.000 Zeilen hatten, war ACE langsamer als JET).

 

Hallo zusammen,
ihr habt ja aus dem Beitrag ne richtige Diskussion gemacht! Alle Achtung!
Ich muss mich für die späte Reaktion entschuldigen, hatte einen langen Arbeitstag und noch Vorstandssitzung im Verein.
Die vielen neuen Vorschläge muss ich morgen erst mal in Ruhe durchgehen!
Jetzt erstmal die Dateien als Anhang.
Die Exceldatei hab ich noch nicht weiter bearbeitet, aber es funktioniert jedenfalls. Der Code wird für euch wahrscheinlich etwas holprig und unaufgeräumt sein, aber es ist ja noch eine Baustelle, und ich bin kein Profi!
Leider konnte ich nur eine kurze Testdatei hochladen, die originalen sind einfach zu groß!
Noch etwas grundsätzliches zu meinem Projekt, es geht mir nicht um Geschwindigkeit, sondern um Flexibilität. Die Daten werden nicht immer gleich verändert, und deshalb finde ich die Lösung mit Excel und der Userform so gut.
Einfach die Datei auswählen, die Parameter in den Textboxen eingeben und danach noch exportieren.
Für das Erzeugen der txt Dateien brauche ich oft mehrere Tage, da sind mir ein paar Minuten Excelzeit nicht sooo wichtig.
Das soll natürlich nicht heissen, dass ich für Verbesserungsvorschläge taub bin!
LG Werner