Office: (Office 2007) CSV Datei jeden morgen automatisch importieren

Idee war schon da. Manchmal scheint aber ein Hinweis nicht zu wirken, da muss schon mit dem Bello (5kg-Hammer) drauflos geschlagen werden.

 

Guten Morgen Eberhard,
Hallo HTH,

@Eberhard:
Ich hatte deine Antwort schon insofern verstanden, als dass ich die x,y Koordinaten falsch interpretiert hatte. Ich schrieb jedoch auch im Post darüber dass ich - weil ich die x,y Geschichte bereits als potentiellen Fehler gesehen habe - bereits sämtliche Variationen durchprobiert hatte. D.h. x,y & y,x.
Siehe:

Ferner meinte ich mit folgender Aussage im Post unter deinem dass ich deinen Hinweis zur Kenntniss genommen, ihn jedoch nicht umsetzten konnte.

Nun - d.h. heute morgen - stellte sich aber eben herauß dass ich nicht hätte mit meiner großen 500k+ CSV Datei testen sollen, da der Fehler wohl an dieser liegt.
Die korrekte Anwendung der x,y Koordinaten führt nämlich dazu, dass zumindest mit der verkleinerten Test CSV ein überschreiben wunderbar funktioniert.

D.h. vielen Dank, dein Post hatte vollends recht und konnte nun von mir nachvollzogen werden.

Bleibt jedoch ein (/neues) Problem:
Irgendwas scheint mit meiner Orginal-CSV nicht in Ordnung.
Nutze ich das (mit der Test-CSV und Test-Access-DB) laufende Skript und ändere lediglich den Pfad der (Test-)CSV (auf die Orginal-CSV) so kommt folgender Fehler (siehe Abbildung).
/edit: Ändere ich die Columanzahl von 5 auf 10, so kommt nach ca 10-15 Sekunden der Fehler in Abbildung 2.
/edit2: Ändere ich sämtliche Datentypen der Spalten in Access auf "Text", so kommt nach ca 20-25 Sekunden der Fehler in Abbildung 3.
/edit3: edit2/Fehler-in-Abbildung3 scheint sich auf das Zeichen (') [ohne Klammer] zu beziehen. Gerade mal in die CSV reingeguckt, da heißt jemand so.


@HTH:
Danke fürs erneute klarstellen.
Hat geholfen.
Siehe letzter Absatz vor dieser Antwort (bestehendes Problem).

Danke.

 

Hallo Alex,

wie sieht die CSV in Excel aus?
Sind Gänsefüßchen als Textbegrenzer vorhanden?
Worum geht es Dir beim Import, um einen regelmäßigen zeitgesteuerten Import von einem Server?
(Dafür ist eigentlich dieses Konzept gedacht)
Ansonsten gibt es sicherlich effizientere Alternativen wie Eberhard schon angedeutet hat. Beispielsweise direkte Einbindung der CSV in eine Abfrage.

Gruß

BP

 

Hallo BP,

die Datei sieht exakt so aus wie die gepostete Beispieldatei (hab dir unten noch nen Screenshot angehängt, dann musst dus nicht extra runterladen).
Begrenzer sind Semikolons.

Und ja, die Idee bzw. gegebene Aufgabenstellung die ich bekommen habe ist genau die von dir beschriebene. Wir haben eine andere Anwendung die einen regelmäßigen CSV Download unserer Kunden bereitstellt (immer selber Dateiname, immer selbes Datenformat).
Gleichzeitig haben wir hier eine Accessanwendung die die Datensätze aus dieser CSV nutzt. Diese sollen vollautomatisiert in regelmäßigen Abständen geupdated werden. Sitze hier in nem 250 Mitarbeiter Betrieb, d.h. Infrastruktur um so ein Skript irgendwo serverseitig zu triggern ist sicherlich vorhanden.

 

Hallo,

das Problem sind möglicherweise die fehlenden Textbegrenzern.
Versuch mal die Datei in Excel zu öffnen und mit Textbegrenzer neu zu exportieren und anschließend per Script in die DB zu laden.

HTH

 

Hallo HTH,

habe eben (vor deiner Antwort) den Texteditor sämtliche Code:

durch Code:

ersetzen lassen. Das funktioniert.
Habe darüber hinauß mal mit der Fachabteilung telefoniert auf deren Seite das (automatisierte) Generieren der CSV Datei gemanaged wird. Die meinten es sei kein Problem bei der Generierung der CSV Datei die Hochkommas wegzulassen.

 

Hallo Alex,

heißt, das Script läuft ohne Probleme durch?
Dann könnte man die Anpassung auch im Script machen, einfacher ist es natürlich die Datei schon so bereit zu stellen.
Allerdings könnten die Hochkomatas auch drin bleiben, wenn die CSV Textbegrenzer haben würde! (siehe #19)

Gruß

BP

 

Ja das Skript läuft problemlos (edit: mit der Orginal CSV auf der Testdatenbank. Ich teste es eben noch mit der Orginal CSV auf dem Orginal BE und falls das funktioniert lösch ich die rote Zeile hier) durch (wenn man vorher in der CSV sämtliche Hochkommas ersetzt).
[Problem an dem ich jetzt gerade rumgoogel: Automatisiertes Komprimieren der Datenbank nachdem das eigentliche Skript die Inhalte erneuert hat]

Wenn das Abfangen/Ersetzten der Hochkommas im Skript möglich ist wäre das natürlich nochmal besser.
Wenn ich raten dürfte müsste man im grün markierten Abschnitt nochmal jeweils durch die einzelnen Zelleninhalte gehen und Hochkommas rauswerfen - hab jedoch keinen direkten Plan (ohne googeln) wie das genau funktioniert.

Code:

Bzgl

Meinst du hier mit Textbegrenzer
- die Begrenzer der einzelnen Datensätze pro Zeile, d.h. "Huber Müller;Männlich;04.09.1980;Bäcker", oder
- redest du von textbegrenzenden Zeichen, d.h. "!!!Huber Müller!!!;!!!Männlich!!!;04.09.1980;!!!Bäcker!!!"

Wenn du von ersterem redest, dann ja - die CSV hat Grenzen zwischen den Spalteninhalten, nämlich ein Semikolon.
Wenn du von zweiterem redest, - wovon ich gerade ausgehe - , dann nein.

 

Ich rede von Textbegrenzer (Gänsefüßchen) welche im CSV Felder als Text identifizieren. Der Datensatz müsste dann wie folgt aussehen:
Code:

Im Thread gab es bereits die Hochkommaproblematik (Post #18).

Das sollte eigentlich beim Export auch eingestellt werden können.
Dann gibt es dieses Problem auch nicht.
Im Script würde ich das nicht ändern, hier werden nur die Feldbegrenzer ";" durch Kommas ersetzt.
Man könnte sich das auch sparen, wenn ein "richtiges" CSV (Kommasepariert) übergeben wird.

Gruß

BP

 

Etwas //OT:

Erstaunliche Vorgänge: Sonst wird immer betont und gejammert, an vorhandenen Situationen könne man nichts ändern. Diese Situationen sind eben vorhanden und befohlen.

Hier ist es plötzlich anders: Um einen krummen Code unbedingt ausführen zu können, werden Workarounds darum gebaut und es ist sogar möglich, die CSV-Erzeugung umzustellen.

Zur Erinnerung, was im krummen Code passiert:
; wird ersetzt durch ","
An Hand des Doppelquotes werden nun die Einzelinformationen getrennt. Dadurch tauchen dann Probleme mit dem Hochkomma auf, weil Quote und Doppelquote sehr schnell als gleiches interpretiert werden.

Würde man eine Zeile der Textdatei per Split mit Delimiter Semikolon (weil der gerade vorhanden ist) zerlegen, hätte man sofort und ohne Probleme die Einzelinformationen in einem Array.


Aber: Weiter so. Mit Aktionismus verläuft der Tag spannender.

 

Na klar! Und kommt dann tatsächlich eine richtige CSV fliegt Dir das Teil auch wieder um die Ohren. Diese Variante wurde gewählt um eine flexible Lösung zu gewährleisten, vielleicht liest Du mal den Thread komplett inkl. der vorhanden Links.
Aktionismus verbreitest hier nur Du, aber leider nicht produktiv!
Das Script ist ein Beispiel und mehr nicht, Änderungen sind den Programmierkenntnissen eines jeden einzelnen entsprechend durchzuführen.

Aufregen kann manchmal schädlich sein, beachte das Deiner Gesundheit zuliebe!

Gruß

BP

 

Apfel != Birne
Gestern != Morgen
Diese Situationen != Hier

Spoiler: Kommende Situationen könnten sich auch wieder unterscheiden. - Verrückte Welt.

/edit: Da war jemand schneller.
Ich sags mal so: Wenn dich meine Arbeitsweise aufregt, dann ist das dein gutes Recht. Ich würde dich dann aber darum bitten meine Posts einfach nicht anzugehen und dir deinen Teil zu denken. Ich weiss nicht wies um dich steht, mein Tag sähe dann schöner aus. Auch wenn ich auf die teilweise sehr hilfreichen Posts von dir verzichten müsste. No offense.

 

Wünschen beuge ich mich gerne.

 

VBS technisch wirds keine Möglichkeit geben das ganze ohne zeilenweise Bearbeitung hinzukriegen, oder?
Access braucht ja beim manuellen importieren für die 580k Datensätze ca 6 Sekunden.
Das Skript lokal braucht etwa 3-4 Minuten.
Im Netzwerk kann mans, so wies gerade ist, leider vollends vergessen. Hab das mal über die Mittagspause laufen lassen, nach einer Stunde hatte er

 

Doch, sollte prinzipiell auch möglich sein, wenn Du Einfluß auf das zu importierende Format der Datei hast.

Gruß

BP