Office: RIESIGE DATENMENGEN verarbeiten

Helfe beim Thema RIESIGE DATENMENGEN verarbeiten in Microsoft Excel Hilfe um das Problem gemeinsam zu lösen; Hallo Leute, da ich gerade an meiner Abschlussarbeit arbeite und riesige Datenmengen verarbeiten möchte, bräuchte ich Eure Hilfe. Also zu meinem... Dieses Thema im Forum "Microsoft Excel Hilfe" wurde erstellt von Tauchmann, 3. Juni 2010.

  1. Tauchmann Erfahrener User

    RIESIGE DATENMENGEN verarbeiten


    Hallo Leute,

    da ich gerade an meiner Abschlussarbeit arbeite und riesige Datenmengen verarbeiten möchte, bräuchte ich Eure Hilfe.

    Also zu meinem Problem:

    Ich habe stündliche Einstarhlungsdaten von 1973 bis jetzt, also ungefähr >300000 Datensätze. Die Datensätze sind so aufgebaut:

    Spalte:

    A1 --> Tag/Monat/Jahr
    B1 --> Uhrzeit von 01:00 bis 23:00
    E1 --> Einstrahlungswerte in W/m2

    Nun möchte ich eine Übersicht mit täglichen Werten pro Jahr erstellen.
    Ich stelle mir folgendes vor:

    1. In der Spalte H möchte ich die Jahre von 1973 -2010 darstellen
    2. In der Zeile 2 sind die Tage von 01 Jan bis zum 31 Dez dargestellt

    ungefähr so:

    01-Jan 02- Jan .... 31-Dec
    1973 xxxxx xxxxx xxxxxx
    1974 xxxxx xxxx xxxxx
    1975

    Was muss ich nun machen, um die Werte aus der Einstrahlungsspalte den Tag und Jahr richtig zuzuordnen und dabei die Einstrahlungswerte jeweils vom gesamten Tag addieren zu lassen.

    Welche Formeln muss ich verwenden um dieses Problem zu lösen?

    Irgendwie verzweifle ich schon an dieser Aufgabe.
    Also ich bin jeder hilfe dankbar.

    Schöne Grüße
    Tauchmann
     
    Tauchmann, 3. Juni 2010
    #1
  2. schatzi Super-Moderator
    Hallo!

    Prinzipiell mit SUMMENPRODUKT, aber da kann die Berechnung bei dieser Datenmenge einiges dauern.
    (In I1 und J1 stehen echte Datümer, deren Jahr aber egal ist.)

     ABCDEFGHIJ
    1DatumZeit  Wert   1. Jan.2. Jan.
    201.01.200101:00  0,88461354  20011,05972730,18623358
    301.01.200102:00  0,17511375  20020,909993941,29864194
    402.01.200103:00  0,01247795     
    502.01.200104:00  0,17375563     
    601.01.200205:00  0,1838278     
    701.01.200206:00  0,72616615     
    802.01.200207:00  0,84163828     
    902.01.200208:00  0,45700366     
    10          
    ZelleFormel
    I2=SUMMENPRODUKT((JAHR($A$2:$A$99)=$H2)*(TAG($A$2:$A$99)=TAG(I$1))*(MONAT($A$2:$A$99)=MONAT(I$1))*$E$2:$E$99)
    J2=SUMMENPRODUKT((JAHR($A$2:$A$99)=$H2)*(TAG($A$2:$A$99)=TAG(J$1))*(MONAT($A$2:$A$99)=MONAT(J$1))*$E$2:$E$99)
    I3=SUMMENPRODUKT((JAHR($A$2:$A$99)=$H3)*(TAG($A$2:$A$99)=TAG(I$1))*(MONAT($A$2:$A$99)=MONAT(I$1))*$E$2:$E$99)
    J3=SUMMENPRODUKT((JAHR($A$2:$A$99)=$H3)*(TAG($A$2:$A$99)=TAG(J$1))*(MONAT($A$2:$A$99)=MONAT(J$1))*$E$2:$E$99)

    Alternativ vielleicht auch mit einer Pivot-Tabelle, wenn du zwei Hilfsspalten anlegst, in denen du einmal das Jahr und einmal Monat und Tag extrahierst.
     
    Zuletzt von einem Moderator bearbeitet: 9. Dezember 2020
    schatzi, 3. Juni 2010
    #2
  3. Thomas Ramel MVP für Microsoft Excel
    Grüezi zusammen

    Mit Matrixformeln wollte ich mich nicht an 300'000 Datensätze wagen.... ;-)

    Die Pivot-Tabelle ist hier IMO klar zu präferieren.

    Aber Hilfsspalten sind nicht notwendig; nach Jahr/Monat/Tag lässt sich das Datum in der PT trefflich gruppieren.
     
    Zuletzt von einem Moderator bearbeitet: 9. Dezember 2020
    Thomas Ramel, 3. Juni 2010
    #3
  4. schatzi Super-Moderator

    RIESIGE DATENMENGEN verarbeiten

    Hallo Thomas!

    Wie gruppierst du das denn, so dass der gewünschte Aufbau erreicht wird?
    Das hatte ich vorhin auch schon versucht, bin aber kläglich gescheitert...
     
    schatzi, 3. Juni 2010
    #4
  5. Thomas Ramel MVP für Microsoft Excel
    Grüezi schatzi

    Es darf nicht die komplette Spalte als Datenquelle markiert sein, sonst klappt die Gruppierung nicht.

    Dann aber einfach Datum in den Zeilenbereich und Wert in den Datenbereich schieben.

    Rechtsklick in die Datumsspalte der PT --> Gruppieren
    und hier dann 'Jahr' und 'Tag auswählen, was das folgende Ergebnis bringt (wenn genügens Spalten für alle Tage des Jahres zur Verfügung stehen -also erst ab xl2007 möglich):

    Arbeitsblatt mit dem Namen 'Tabelle1'
     ABCDEFGHIJK
    1DatumZeitDummmy1Dummy2Wert   01.Jan02.Jan 
    201.01.200101:00:00  0.88461354  20011.059727290.18623358 
    301.01.200102:00:00  0.17511375  20020.909993951.29864194 
    402.01.200103:00:00  0.01247795      
    502.01.200104:00:00  0.17375563      
    601.01.200205:00:00  0.1838278  Summe von WertDatum  
    701.01.200206:00:00  0.72616615  Jahre01. Jan02. Jan 
    802.01.200207:00:00  0.84163828  20011.059727290.18623358 
    902.01.200208:00:00  0.45700366  20020.909993951.29864194 
    10           
    11           
    ZelleFormel
    I2=SUMMENPRODUKT((JAHR($A$2:$A$99)=$H2)*(TAG($A$2:$A$99)=TAG(I$1))*(MONAT($A$2:$A$99)=MONAT(I$1))*$E$2:$E$99)
    J2=SUMMENPRODUKT((JAHR($A$2:$A$99)=$H2)*(TAG($A$2:$A$99)=TAG(J$1))*(MONAT($A$2:$A$99)=MONAT(J$1))*$E$2:$E$99)
    I3=SUMMENPRODUKT((JAHR($A$2:$A$99)=$H3)*(TAG($A$2:$A$99)=TAG(I$1))*(MONAT($A$2:$A$99)=MONAT(I$1))*$E$2:$E$99)
    J3=SUMMENPRODUKT((JAHR($A$2:$A$99)=$H3)*(TAG($A$2:$A$99)=TAG(J$1))*(MONAT($A$2:$A$99)=MONAT(J$1))*$E$2:$E$99)
    <table><tr><td>Diese Tabelle wurde mit Tab2Html (v2.4.1) erstellt. ©Gerd alias Bamberg</td></tr></table>[/parsehtml]
     
    Zuletzt von einem Moderator bearbeitet: 30. November 2020
    Thomas Ramel, 3. Juni 2010
    #5
  6. schatzi Super-Moderator
    Hallo Thomas!

    Ahhh! Also in der Gruppierung BEIDES anklicken. Darauf bin ich nicht gekommen...
     
    schatzi, 3. Juni 2010
    #6
  7. Thomas Ramel MVP für Microsoft Excel
    Grüezi Schatzi

    Ja, da lassen sich beliebige Kombinationen (auch mit noch grösserer Aufschlüsselung) wählen... ;-)


    ...ich liebe Pivot-Tabellen - es gibt kaum etwas Schnelleres und Flexibleres...
     
    Thomas Ramel, 3. Juni 2010
    #7
  8. schatzi Super-Moderator

    RIESIGE DATENMENGEN verarbeiten

    Hallo Thomas!

    Ich liebe sie auch! Keine Programmierkenntnisse nötig, nur ein bisschen Klicken und Ziehen. Nur leider wurden sie wohl von MS so gut versteckt, dass viele Excel-User gar nichts von ihrer Existenz wissen.
    Mit den Möglichkeiten der Gruppierung muss ich mich wohl noch ein wenig auseinandersetzen. Das Buch "Pivot Table Data Crunching" steht zwar bei mir im Regal, aber ich hatte bisher noch keine Anwendung für die tiefergehenden Optionen...
     
    schatzi, 3. Juni 2010
    #8
  9. Tauchmann Erfahrener User
    Hallo,

    erstmal Danke für die schnellen Antworten.
    Ich werde mich einfach mal versuchen und schauen was da nun raus kommt.

    Werde Euch auf den Laufenden halten.

    Schone Grüße
    Tauchmann
     
    Tauchmann, 3. Juni 2010
    #9
  10. Tauchmann Erfahrener User
    Hallo,

    nachdem ich nun meinen gestrigen Abend mit Excel versüsst habe und trotzdem nicht angekommen bin, habe ich eine weitere Frage an Euch:

    Leider berechnet mir Excel garnichts :-( (stellt mir ein Null dar, was heist das die Formel ja passt aber irgendetwas nicht stimmt). Aber ich glaube das Problem liegt an meiner Datumsformatierung der Tages- und Monatsfelder (siehe in Schatzi's Tabelle --> I1 und I2).

    Wie kann ich diese Felder NUR als Tag.Monat formatieren, also ohne das AKTUELLE Jahr?

    Zwar habe ich unter Zellen formatieren / Benutzerdefiniert die Vorgabe dd.mmm gemacht und wird auch im Feld angezeigt als dd.mmm , ABER in der Zeile neben fx (oberhalb der Tabele und den Buchstaben) wird 01/01/2010 angezeigt.

    Wie kann man das nun ändern?

    Schöne Grüße
    Tauchmann
     
    Tauchmann, 4. Juni 2010
    #10
  11. schatzi Super-Moderator
    Hallo!

    Dann arbeitest du also momentan an der Formellösung?
    In der Bearbeitungszeile kann ruhig das komplette Datum stehen. Die Formel greift nur auf den Tag und den Monat dieses Datums zu.

    Trotzdem würde ich eher zu einer Lösung mit Pivot-Tabelle raten.
     
    schatzi, 4. Juni 2010
    #11
  12. Tauchmann Erfahrener User
    Hallo,

    leider kenne ich mich absolut mit diesen Pivot-Tabellen nicht aus.

    Ich habe dein Beispiel mal in einer Exceltabelle versucht, irgendwie klappt die formel bei mir nicht, wird als #WERT! ausgegeben

    Hast du vielleicht eine andere Idee????
     
    Tauchmann, 4. Juni 2010
    #12
  13. schatzi Super-Moderator

    RIESIGE DATENMENGEN verarbeiten

    Hallo!

    Ich habe mal beide Varianten als Beispielmappe angehängt.
    Hier auch nochmal der Link zum Tutorial: Pivot-Tabelle
     
    Zuletzt von einem Moderator bearbeitet: 9. Dezember 2020
    schatzi, 4. Juni 2010
    #13
  14. Tauchmann Erfahrener User
    Hallo,

    bitte entschuldige die dummen Fragen.
    EXCEL bringt mich gerade um.

    Ich kann in der Fromelvariante keinen Fehler finden, trotzdem gibt Excel mir 0 raus. Ich habe mal meine sehr verkürzte Tabelle angehängt. Ich sehe einfach den Unterschied nicht und das ärgert mich gerade. Wäre es möglich mal reinzuschauen?

    Aber so wie aus sieht und du es empfiehlst werde ich mich wohl in die Pivot thematik einarbeiten müssen.

    Schöne Grüße
    Tauchmann
     
    Tauchmann, 4. Juni 2010
    #14
  15. schatzi Super-Moderator
    Hallo!

    Du hast einen Klammerfehler drin:

    =SUMMENPRODUKT((JAHR($A$2:$A$72)=$E2)*(TAG($A$2:$A$72))=TAG(F$1))*(MONAT($A$2:$A$72)=MONAT(F$1))*$C$2:$C$72)

    Die rote Klammer muss weg, dafür muss die grüne neu dazu.
     
    schatzi, 4. Juni 2010
    #15
Thema:

RIESIGE DATENMENGEN verarbeiten

Die Seite wird geladen...
  1. RIESIGE DATENMENGEN verarbeiten - Similar Threads - RIESIGE DATENMENGEN verarbeiten

  2. SVERWEIS Große Datenmenge

    in Microsoft Excel Hilfe
    SVERWEIS Große Datenmenge: Hallo Zusammen, ich habe ein kleines Problem mit dem Sverweis. Folgendes ich habe in Spalte A eine Adresse (Str. + Hausnummer) diese möchte ich eintragen. ich habe einen großen Datensatz mit ca...
  3. Wandel von XLSX in CSV verursacht riesige Dateigröße

    in Microsoft Excel Hilfe
    Wandel von XLSX in CSV verursacht riesige Dateigröße: Hallo zusammen, ich wollte gerade eine XLSX-Tabelle mit 55.000 Zeilen, 4 Spalten und keinerlei sonstiger Formatierung (1,26MB) in eine CSV-Datei via Excel überführen. -> speichern unter;...
  4. Riesige Excel Tabelle veranschaulichen

    in Microsoft Excel Hilfe
    Riesige Excel Tabelle veranschaulichen: Liebe Leute, Ich hoffe jemmand hier hat einen Rat für mich. Ich habe ein Tabelle mit Zeit-Daten und dazugehörigen Zahlenwerten. Die Tabelle ist leider mehrere 1000 Zeilen lang und wächst täglich...
  5. Riesiges Problem mit Pivot-Tabelle: "Berechnetes Elemen

    in Microsoft Excel Hilfe
    Riesiges Problem mit Pivot-Tabelle: "Berechnetes Elemen: Hallo zusammen, seit 2 Tagen kämpfe ich mit dem folgenden Problem: in einer Excel 2003-Datei habe 2 Bereiche auf unterschiedlichen Arbeitsblätter. Im ersten Bereich stehen ganz schon viele...
  6. Riesige Exceldatei nach dem Speichern

    in Microsoft Excel Hilfe
    Riesige Exceldatei nach dem Speichern: Hallöchen, nachdem ich nun einen Teil meiner Excel Tabelle erstellt habe und diese gespeichert habe, ist diese riesen groß geworden (103 MB). Okay ich habe viele Daten verwendet, aber es...
  7. 2 Problme: Riesige Datenmengen u. Tabelle

    in Microsoft Excel Hilfe
    2 Problme: Riesige Datenmengen u. Tabelle: Hallöchen, ich habe mal zwei Fragen: 1: Wenn ich riesige Datenmengen bereinigen möchte (<100.000 Datensätze), kommt eine Fehlermeldung wenn ich z.B: 30.000 Zeilen markiert habe und...
  8. meine Tabellenblatt/Datei ist riesig

    in Microsoft Excel Hilfe
    meine Tabellenblatt/Datei ist riesig: Hallo, wer kann mir helfen. Bin gerade dabei eine Datei mit mehreren Tabellenblättern anzulegen. Größe ca. 650 KB und plötzlich ist sie bei einer Größe von 10.000KB. Angeblich kommt das Problem...
  1. Diese Seite verwendet Cookies, um Inhalte zu personalisieren, diese deiner Erfahrung anzupassen und dich nach der Registrierung angemeldet zu halten.
    Auf dieser Website werden Cookies für die Zugriffsanalyse und Anzeigenmessung verwendet.
    Wenn du dich weiterhin auf dieser Seite aufhältst, akzeptierst du unseren Einsatz von Cookies.
    Information ausblenden