Office: (Office 2016) Per PQ Dateiliste (mit Unterverzeichnissen) erstellen

Welche meinst Du, die mit Code:

erstellte Liste?

 

\@Warkings:
Nein, sondern die mit seiner Batch-Datei. Die Batch-Datei ist nicht das Problem, sondern der Shell-Aufruf.

Gruß Ulrich

 

Ja, kann sein, will ich gar nicht testen.

 

Hallo Hasso,

zeige doch mal den PQ-Code, der bei dir das Memoryproblem verursacht hat.

 

Hallo,

hehe, ja is klar, das glaub ich sofort, 90-er Jahre Code vom VBA-Profi gegen Dreizeiler-Snippet von den Millenium-Boys, kenn ich aus anderen Foren zur Genüge, da weiß ich wo's langgeht, wenn die Luft mal dünner wird...but that's just me...*mrcool

Gruß, Muller2

 

Zum Beispiel in dieser Datei.

 

Ich habe das bei mir getestet und eine USB Platte mit gut 120 Tsd Dateien versucht einzulesen

Powershell Skript: Datei in weniger als 30s erstellt
Excel 365, 32-bit: out of memory Fehlermeldung
Power BI Desktop, 64 bit: lädt, nicht performant (zweistelliger Minuten-Bereich), RAM Verbrauch von Power BI bei 8GB

Also, mein Tipp wäre: Erzeuge Dir die Dateiliste mit VBA, Dir oder Powershell.

 

Hallo Hasso,

ich habe jetzt gesehen, dass auch der Import von einem Order den Befehl "Folder.Files" generiert. Somit erst die Entscheidung, ob du die Spalte "Content" expandierst, dafür sorgt, dass Inhalte gelesen werden. Dann könnte es bei vielen PDF-Dokumenten wohl schon zu einem Speicherüberlauf kommen.

Ich weiß aber nicht was Power Query intern treibt. Aber allein aufgrund der Tatsache, das Power Query riesige Datenmengen verarbeiten kann und bspw. das Excellimit 1 Mio Zeilen erst zieht, wenn du das Ergebnis einer so großen Abfrage Laden willst, es nicht geht, habe ich meine 0365 Installation letztes Jahr deinstalliert und anschließend in der 64-Bit Variante erneut installiert.

In der Firma, damals auch noch die 32-Bit Variante, hatte ich es vorher erlebt, dass mehrere recht große Abfragen, gleichzeitig geöffnet, das 4GB-Limit ereicht hatten und es dehalb zu Abbrüchen kam.

Somit kann es sein, das du zwar nur die Verzeichnisstruktur importierst, Power Query aber intern den Speicherbedarf berechent, der nötig wäre, um alle Files zu exandieren. Sofern es dir möglich ist könntest du zumindest testweise auf 64-Bit umsteigen, um zu sehen, ob der Fehler dann auch noch auftritt. Wäre halt mit einem gewissen Zeitaufwand verbunden.

Da ich nicht viele Makros im Einsatz hatte, sind bei mir nach der Umstellung auf 64-Bit auch alle ohne Probleme gelaufen.

 

Ich habe das Problem für Excel 32-bit "gelöst".

Erste Query auf das Verzeichnis als Connection Only, dann defniert man einfach eine weitere leere Abfrage und holt sich per Code:

die interessante Spalte. Die Laufzeit ist auch okay.

PS Das Vorgehen kann man entsprechend "kombinieren" und man erhält auch die anderen Spalten aus der Tabelle, die Files.Folder erzeugt

PS2 Datei angehängt

 

Hallo Warkings,

danke für deine Hilfestellung. Ich werde mir das ansehen.