Office: Xmlhttp Antwort zu kurz

Hallo zusammen,
Ich wurde gerne ein paar Zahlen von einer Website laden um damit später zu arbeiten. Leider bekomme ich aber nur die ersten 747 Zeilen zurück (von ca. 90 000). Wenn ich die Seite im browser öffne lad sie recht langsam, mir scheint, dass ich mit dem xml request nur die „ersten daten“ bekommen. Was gibt es da für Möglichkeiten? Vielen Dank im Voraus

Code:

:)

 

Hallo,

zuerst: was für Daten sind das?

In Firefox werden viele Daten, vermutlich mehr als 900 Zeilen geladen. Powershell lädt ca 4,7 MB.

Ergo: Wenn es nicht von Hand geht, z.B. da viele Standorte abgefragt werden sollen, warum nicht Powershell?

mfg

Code:

 

Versuch mal diese Änderung:

von

Code:

in

Code:

ungeprüft

 

Hallo,

Excel Limits ... sag ich da nur ... als Erklärung, weshalb dein Code nicht klappt.

Total number of characters that a cell can contain - 32,767 characters

... ODER ...

Maximum number of line feeds per cell - 253

... ist natürlich wahlweise, was eben zuerst in der Zelle eintritt.

Die Lösung hat Fen ja schon gepostet.

Sabina

 

Hallo TwoBeer (sympathischer Name *wink.gif* )

Sabina hat das Problem bereits genannt und Fennek hat schon einen Lösungsansatz aufgezeigt. Er hat aber auch die Frage gestellt, was das für Daten sind?

Was ich erkenne, sind Datensätze zwischen dem 01.01.2005 und dem 31.12.2016. Ich gehe davon aus, dass die Werte jedes Datensatzes durch Kommas getrennt sind.

Das Problem ist, es steht alles in einer einzigen Zeile, weshalb die von Sabina genannten 32.767 Zeichen pro Zelle in diesem Fall extrem schnell erreicht sind. Es gibt trotzdem einen Lösungsansatz.

Speicher den Innertext des Body-Tags in einer String-Variable und finde einen Weg durch die Kalenderdaten zu gehen. Dann kannst Du alles als Tabelle aufbereiten.

Viele Grüße,

Zwenn

Edit: Die einzelnen Datensätze (Kalenderdaten) kann man mit Split() an den Leerzeichen auftrennen und hat dann schonmal die benötigten Zeilen. Man muss nur vorher noch die Kopf- und die Fußzeile loswerden.

 

Hallo,

oder man verwendet eine PQ-Abfrage:
Code:

Den Code in eine leer PQ-Abfrage im erw. Editor kopieren und dann laden.

Ulrich

 

Vielen Dank erstmal!

Es sind Stundenwerte von Wetterdaten über ca. 10 Jahre.

Powershell ist eher nicht ganz das optimale da ich keine Ahnung davon habe, wenn dann wuerde ich evt. Das ganze in Phyton verlagern, dass wollte ich sowieso mal wieder lernen.

Code:

Geht fast, allerdings bekomme ich nur die erste Zeile sehr oft.
Die Lösung von knobbi38 mit dem PowerQuery funktioniert wunderbar, jetzt muss ich das noch in ein Makro verpacken.

Vielen dank nochmal für die Erklärungen und die Lösungen!
Ich werde mal etwas rumprobieren und schauen welchen weg ich gehe. Melde mich dann vermutlich nochmals.

 

Code:

So gehts
jetzt haette ich noch drei kurze fragen *Smilie :
1. Wie funktioniert Range("A1").Resize(UBound(BrT) + 1) = BrT (aus interesse, verstehe das nicht ganz, also sehe das es funktioniert aber nicht wie)
2. Macht es speichertechnisch sinn sich ein array zu sparen oder ist das egal z.B.:
Code:

3. Bisher habe ich um das ganze zur tabelle zu machen TextToColumns verwendet. Geht das eleganter? (Nachster schritt ware fuer jede stunde einen 10 Jahres Mittelwert zu bilden. (Bisher habe ich das z.B. Manuell uber Pivot Shift Tabelle gebemacht.

Die dritte ist vermutlich eine Frage fuer einen eigenen Thread wollte nur mal das Thema anfragen, damit ich mich reinlesen kann.

 

Ich habe mich wohl zu frueh gefreut, es werden nur 39668 Zeilen (bis sommer 2009 geladen) mit dem Power Query sind es angeblich 105.192 nur kann ich nur die ersten 32 zeilen sehen, auch weis ich nicht wie ich das anstaendig in ein Makro bekomme.

20090711:1909 ware die nachste Zeile.

 

Hallo TwoBeer,

vielleicht sollte man mal ans Ende der Tabelle scrollen?!
Was meinst du "anständig in ein Makro bekomme"?

Das ist doch eine Datenquelle, welche nur aktualisiert werden muß, entweder automatisch oder von Hand.
Auf diese Daten kannst du dann doch per Makro/Formel von jedem anderen Sheet verweisen.

Ulrich

 

Hi,

danke fuer den Hinweis, evtl. steh ich auf dem Schlauch aber ich kann nicht scrollen. (siehe screenshot)
Das ganze soll in eine Arbeitsmappe in der je nach Input andere Daten gewaehlt werden und spaeter wird das ganze weiter verarbeitet. Es sollen dann auch leute mit der Vorlage arbeiten koennen die noch weniger von Excel wissen als ich. der link setzt sich zB in echt so zusammen:
=CONCATENAR(B6;B9;G9;B10;G10;B15;G15;B16;G16;B17;G17;B19;G19;B20;G20;B22;G22;B23 ;G23*wink.gif*

 

Hallo zusammen,

bei mir geht das so ... sind übrigens 105.213 Zeilen ... ein wenig mehr als 4,5 MB in eine TXT geschrieben.
Code:

Sabina

 

wunderbar! Vielen Dank! (mal schauen ob ich meinen "Fehler" finde)

 

Hallo,

dein "Fehler", war dich auf M$ zu verlassen. *eek.gif*

TRANSPOSE ist in der Zeit von Excel 2003 stehen geblieben ... die Function hört meist irgendwo zwischen 35.000 und 40.000 Datensätzen auf zu arbeiten.
Wo genau, kann man aber nicht nachvollziehen ... und sie bringt dabei keine Fehlermeldung ... hört einfach auf Daten umzuschaufeln. *upps

Deshalb mach ich das Umschaufeln, über das Neubefüllen des Array arrT.

Sabina

 

danke
habe ordentlich was gelernt in den letzten zwei Tagen