Office: Große Textdatei einlesen und auswerten

Hallo,
ich wollte eine Web Logdatei einlesen und dann analysieren. Aber ich weiß noch nicht wie da genau vorgehen soll. Das Problem ist einmal dass die Web Logdatei 7mb groß sein kann wenn nicht noch viel größer und dass in der Logdatei keine Zeilenumbrüche sind.
Das einlesen in eine Variable dauert schon etwas, aber das kann man wohl verkraften. Ich mach das mit diesem Code:
Code:

Die Datei hat sehr viele Eintrgäe zu Webseiten zugriffe. Wenn ich die auswerten will, dann müsste ich ja immer die große Varible "gInhalt" durchsuchen. Und das könnte per Funktion sehr oft passieren. So eine große Variable so oft zu durchsuchen könnte doch sehr lange dauern, was wären die Alternativen?

:)

 

Hallo Donald,

lade doch ein Beispiel der Logdatei (ein paar Hundert Zeilen) hoch und beschreibe, was ausgelesen werden soll und wie du dir die Ausgabe vorstellst.




Gruß Sepp

 

In Deine Variable lädst Du nur eine Zeile, das kann so groß nicht sein.
Die gesamte Textdatei kann man so und schnell laden: Beliebige Datei einlesen

Vor einem Vorschlag sollte man wissen, was man worin sucht.

 

Meine Güte du schon wieder. Ich habe doch geschrieben dass die Datei keine Zeilenumbrüche hat, also ist der ganze Inhalt der Datei eine einzige Zeile! Und was ich durchsuchen will weiß ich genau.

 

Ok, mit der Funktion geht es schonmal viel schneller.
Jetzt ist der ganze Inhalt in einer Datei. In der Datei sieht stark verkleinert so aus: 151.48.123.70 - - [08/Dec/2007:00:00:41 -0800] "GET /order/?ref=002 HTTP/1.1" 200 3467 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)" smsync.com 151.48.123.70 - - [08/Dec/2007:00:00:42 -0800] "GET /img/logo.gif HTTP/1.1" 200 3147 "SmartSync Pro Order, Free File Synchronization, Backup, Data Replication, PC Sync Software, Freeware, File Sync, Data Synchronization Software" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)"

Im Beispiel sind 2 Zugriffe auf den Webserver, beide kommen von der IP 151.48.123.70. Jetzt will ich den Inahlt der Variable von links nach rechts Zeichenweise durchsuchen. Damit ich die Informationen gegebenenfalls in eine Collection speichere, oder gleich in eine Exceltabelle. Die Informationen wie Quelle (151.48.123.70), Datum oder Zugriff sind in dem Beispiel entweder durch ein Leerzeichen getrennt, in eckigen Klammern oder in Doppeltenhochkommern eingeschlossen. Deshalb will die Variable von links nach rechts einlesen und wenn ich dann z.B. bei eine eckige Klammer treffe, will ich den Inhalt analysieren und vielleicht speichern, danach soll er aber da wo er aufgehört in der Varibale fortfahren. In der Logdatei sind sehr viele IP Adressen, vielleicht 1 Millionen. Deswegen ist wohl besser die Variable von links nach rechts zu lesen.
Ich könnte die Variable auch zurück in eine neue Datei schreiben, aber die Variable vorher so ändern dass sie Zeilen-Umbrüche hat und die neue Datei dann zeilenweise einlese. Vielleicht gibt es noch eine bessere Lösung?

 

Durch wiederholte Darstellung zeigst Du ja genau, was Du unbedingt machen willst. Allerdings würde ich bei einem zeichenweisen Durchlauf von 7 MB, garniert mit einigen Prüfungen, auch vermuten, dass das eine längere Zeit dauert.
Ich selber würde hier Regular Expressions versuchen, findbar z.B. unter dem Stichwort "intelligente Textanalyse".

Mir ist nicht klar geworden, was woraus gefunden werden soll. Das ist aber auch nicht wichtig. Du kommst zurecht, nicht wahr?

 

Kann man denn auch Zeilenweise aus einer Variable lesen (wenn sie Zeilenumbrüche hat) wie es in einer Datei geht?
wie gesagt such ich nach einer Technik eine große Variable immer Stückweise auszulesen, analysieren wird nicht das Problem sein. Geht das auch mit der "intelligente Textanalyse"? Ich such mal danach, ansonsten für die obige Frage such ich noch eine Lösung

 

gibt es denn an der Stelle in der Datei, wo der Zeilenumbruch sein sollte, irgendein anderes Zeichen? Ich hatte mal Textdateien, die an der Stelle ein kleines Quadrat gezeigt haben im Texteditor. Mit der Replace Funktion konnte ich dann den Zeilenumbruch einfügen als ich wußte welchen chr-Wert das Zeichen hatte.

Kurioserweise hatte Winzip seinerseit nach Zippen und entzippen den Zeilenumbruch eingefügt. Vielleicht auch mal sowas probieren.

 

Ja gibt es, habe für meine Variable auch folgende Funktion benutzt: Code:

Habe die neue Variable in eine Datei geschrieben und dann neu eingelsen. Aber das Zeilenweise einlesen dauert länger, deshalb suche so was ähnliches für eine Variable.

 

dürfte meiner Meinung nach kaum funktionieren, da man in einer Variablen nach Inhalt suchen kann... der Zeilenumbruch an sich wird hier ja auch über Zeichen dargestellt, nicht als sichtbarer Zeilenumbruch.

Eine neu erzeugte Textdatei könntest du natürlich in Access als Tabelle verknüpfen und dann gegebenfalls mit Abfragen arbeiten. Ansonsten wirst du wohl kaum am zeilenweise einlesen vorbeikommen...

Performance-steigernd dürfte noch sein, wenn die Textdatei lokal auf Platte liegt und nicht im Netz.

 

Hallo Donald2,

so vllt:
Code:
Sub b()
teile = Split(gInhalt, "- - ")
For Each teil In teile
Debug.Print teil
Next
End Sub


mfg Anton

 

Hallo _anton_,
ich werde es später mal ausprobieren, sieht aber gut aus. Vielleicht genau das was ich brauche.

 

Wenn man eine große Datenmenge zeichenweise, stückweise, zeilenweise auslesen will, so dauert das immer - ich las, Du wolltest eine performante Methode? Bei einer Schleife kann man nicht einfach "Gas geben", wohl aber eine Menge Bremsen einbauen (Prüfungen, Vor- und Zurückspringen u.ä.).

Tempo gewinnt man durch
- Massendatenverarbeitung: Alles auf einmal statt jedes Element einzeln (Bagger statt Sandschaufel).
- Indexnutzung: Verwendung von Objekten, die eine Indexnutzung ermöglichen (Collection, Dictionary, Datenbanktabelle)
Was davon wie auf den konkreten Fall anwendbar ist: Keine Ahnung. Der TE erzählt immer, was er machen will, aber nicht, was eigentlich passieren soll.

Auf den Hinweis von josef e in #2 gab es bis jetzt keine hinreichende Reaktion, obwohl ein Anderthalbzeiler ohne Fremdwörter und Fachbegriffe doch übersichtlich sein sollte.

 

Zerbrich dir nicht den Kopf. Ich versteh nicht warum du es bis ins letzte Detail unbedingt immer wissen willst? Reicht dir nicht dass ich die Informationen die ich aus der Textdatei gewinne auswerten will? _anton_ und andere haben mich verstanden, weiß gar nicht was du eigentlich willst, sry?
Vielleicht sieht du alles viel komplzierter. Keine Frage du hast wohl viel Erfahrung, aber für mich findest du kompliziertere Sachen als ich brauche.

 

Entschuldige, ich hatte die Vorstellung, dass durch die Analyse direkt auswertbare Informationen entstehen sollen, die man z.B. auch in eine Tabelle schreiben kann.
Code:

Mit detaillierteren Informationen hätte das etwas vollständiger sein können.
Nun aber werde ich mich wunschgemäß nicht mehr mit Deinen Problemen beschäftigen.