Office: Extrem große txt Datei einlesen und bearbeiten

Ich habe gerade den Fehler gefunden!
Die Variable "Zeilenanzahl" wurde wohl in der Importsub auf 0 gesetzt und deshalb war eine Schleife nicht möglich.
Ich werde den Code noch ergänzen und vielleicht noch den Code von Storax Link

Importing Big Text Files Into Excel

einbauen.
Wenn das dann einigermaßen vorzeigbar ist werde ich das Projekt mit Beispieldatei hochladen.
Es gibt bestimmt jemanden der davon profitieren kann.

 

Hallo rufWerner,

zu deiner Frage:
"Kann man die Anzahl der Daten vor dem Import bestimmen?
Ich habe da im Netz nichts gefunden !"

Du könntest die Textdatei öffnen ohne sie in Excel einzulesen. Dann alle Sätze in einer Schleife zählen und anzeigen.

So etwa:

Sub AnzahlDSInTextdatei()
Dim Nr As Long
Dim DS As Long
Dim MsgStil As Long
Dim MsgText As String
Dim MsgTitel As String
Dim TextDatei As String
Dim Satz As String
TextDatei = "C:TESTTextdatei.txt" '

 

Vielen Dank Sigi

das werde ich auf jeden Fall ausprobieren. Es wird bestimmt helfen zu wissen wie groß die Datei ist um sie dann bei Bedarf auf zwei oder mehr Arbeitsblätter aufzuteilen.

LG
Werner

 

Die Anzahl der Zeilen in einer Textdatei geht mit Powershell wie folgt
Code:

 

Du willst ja lediglich die Daten in der Textdatei ergänzen. Damit ist die Tabelle als "Zwischenspeicher" eigentlich nicht mehr notwendig und die Größe ist auch nicht mehr wichtig.

Vorgehen:
1) Textdatei zeilenweise einlesen
2) Die Zeilen entsprechend anpassen
3) Die Zeilen in eine zweite Datei schreiben

 

\@Steuerfuzzi: Und genau deshalb braucht er eigentlich den Umweg über Excel nicht, s.o. Aber dann haben wir wieder die Geschichte mit dem Hammer usw.

Um die Zeilenanzahl mit VBA zu bestimmen, könnte man folgenden Code verwenden
Code:

 

\@Storax: Du hast ja recht. Aber ich muss die Daten nicht in die Tabelle einlesen. Und trotzdem kann man mit VBA unter Excel die Inhalte direkt in eine neue Datei schreiben (wenn er doch Excel unbedingt verwenden will). Dann braucht man keine Zeilenzahl oder was auch immer.

 

\@Steuerfuzzi: Ja, genau, direktes Schreiben der Textdateien ohne Umweg über Excel=Schreiben in Excel Sheet und danach in die Textdatei.
Man kann natürlich immer noch ein Excel-Makro verwenden und im Vorfeld (warum auch immer) die Zeilenanzahl bestimmen.

Mit den Tools aus #8 würde es sicher schneller gehen.

 

Da sind wir schon seit #2... aber irgendwie will man das nicht....
Missverständnisse schließe ich mal aus ...

 

\@Marco: Ich glaube, er sieht den Wald vor lauter Bäumen nicht ... Er denkt wohl, dass es nur über die Tabelle geht. Oder er will einfach nicht von seinem Konzept weg, da er dieses versteht und Neues nicht so gern lernt ... Egal, was der Grund ist. Wenn er nicht will, ist es nicht unser Problem.

 

kopier Dir folgende 3 Funktionen in ein Modul Deiner Mappe:

Function ReadFile(ByRef Path As String) As String
VB-Tec / Daten / Dateien / Einlesen - Beliebige Datei einlesen

Sub WriteFile(ByRef Path As String, ByRef Text As String)
VB-Tec / Daten / Dateien / Speichern - Beliebigen Text speichern

Public Function FileExists(Path As String) As Boolean
VB-Tec / System / Datei / Exists - Feststellen, ob Datei bzw. Verzeichnis existiert

Folgender Code liest mit o. g. Funktionen der Datei ein (aber nicht zeilenweise, dauert bei großen Dateien viel zu lang), sondern am Stück, ändert sie und schreibt die geänderten Dateien zurück:
Code:

Aus Deiner recht mageren Beschreibung habe ich aber nicht herausgelesen, wie die Daten geändert werden sollen. Meine Annahmen kannst Du aber aus dem Code entnehmen und sicher anpassen.

Wenn der Code dann tut, was er soll, kannst Du eine Userform Drumherum bauen.

 

\@EarlFred:

Meinst Du ?
Das würde ich gern definieren - mal abwarten, ob das Testfile kommt.
Mich würde eine Gegenüberstellung der Messwerte interessieren.

 

absolut, ja.

Kein Problem. Dafür braucht man ja keine Testdatei, die kann man sich schnell selber machen:


Code:

Erstelle eine Datei mit "Testdaten" und probiere beide Varianten aus.
Bei mir: 0,2 zu 3,9 Sekunden.

Ob das hier eine Rolle spielt? Keine Ahnung. Aber mit viel Aufwand eine Bremse programmieren lohnt sich nie.

 

Das Problem mit ReadFile ist, dass die Datei komplett in den Hauptspeicher gelesen wird.
Bei kleinen Dateien kein Problem, da würde ich es genauso machen..
Bei Dateien mit 2 Mio Datensätzen könnte das eng werden, denn der Hauptspeicher ist zumindest bei Excel 32-bit begrenzt.

 

da sehe ich bei den gegebenen Umständen keine Gefahr, da die reine Textdatei unter 100 MB liegen dürfte.