Office: Datenmodell, PowerQuery Office 2019

Moin,

ich versuche schon seit einiger Zeit eine Lösung für folgendes Problem zu finden.

In einem Fahrzeug wird täglich eine .csv erstellt in der Temperaturen, Drücke, Drehzahlen und GPS Koordinaten gespeichert werden.

Der momentane Werdegang ist, das diese .csv in Excel geladen wird und dort einige Berechnungen gemacht werden, diese Mappe wird dann wieder als .csv gespeichert und in eine MySql Datenbank importiert. Auf diese Datenbank greift Excel über PowerQuery zu und zeigt mir die Werte in PivotCharts an.

Das funktioniert soweit auch recht gut, auch wenn die Ladezeit sehr lang ist, da die Datenbank mitleiweile etwa 6 Millionen Zeilen hat.

Jetzt sollen weitere Sensoren dazukommen und auch weitere Berechnungen gemacht werden.

Zusätliche Sensoren sind ja noch realisierbar, da ich in der Datenbank einfach Spalten anfügen kann, aber leider habe ich keine Möglichkeit gefunden über das Datenmodell in Excel so in den Spalten rechnen zu können wie ich es in einer Mappe machen würde. Aufgrund der Menge an Zeilen ist der Import in eine Mappe aber nicht möglich.

Daher hatte ich die Idee einen Ordner zu erstellen, in dem ich die einzelnen Mappen ablege und dann auf diese über PowerQuery zugreife.

Bei meinen Versuchen habe ich allerdings festgestellt, das in diesen Mappen die Tabellenspalten identisch sein müssen, was leider nicht der Fall ist, da sie im laufe der Zeit geändert wurden, bzw. wieder geändert werden wenn weitere Spalten oder Berechnungen hinzukommen.

Gibt es 1. eine Möglichkeit komplexe Rechnungen im Datenmodell zu machen so wie in einer Mappe (beispielsweise zur Berechnung von GPS Koordinaten zur Entfernungsberechnung)?

Oder gibt es 2. die Möglichkeit Mappen mit unterschiedlichen Spalten gemeinsam über PowerQuery automatisch in ein einziges Datenmodell zu importieren?

 

Moin

Grundsätzlich würde ich versuchen mich auf möglichst wenig Medienbrüche zu beschränken.
Also statt:
CSV -> Excel (Berechnungen) -> CSV -> MySQL -> Excel PQ (Charts)
vielleicht so:
CSV -> MySQL (Berechnungen) -> PBI (Charts)

In PQ gibt es Techniken um verschiedene Spaltenbezeichnungen zu vereinheitlichen. Vielleicht ist das auch in SQL möglich.

 

Direkt von CSV in MySql geht leider nicht, da in der CSV immer wieder leere Felder auftauchen die gefüllt werden müssen.

Um die Berechnung in MySql durchführen zu können habe ich noch keine Möglichkeit gefunden, z.B. für die Berechnung von Koordinaten muß in der gleichen Spalte von einer Zelle die Zelle direkt darüber subtrahiert werden wozu eine genaue Zellbezeichnung nötig ist, darum wollte ich das in Excel lösen.

Deswegen wollte ich es lösen in dem ich die einzelnen Mappen in einen Ordner lege, diese dann mit PowerQuery zusammenführe und ausgebe.
Meine Hoffnug war das ich in PQ die Berechnungen machen kann so wie in Excel, was anscheinend so nicht möglich ist.

 

Crossposting
Office 365 - SVERWEIS findet nur Datum aus einer Spalte - MS-Office-Forum

 

@lupo1

Ich weiß nicht wie mir das bei meinem Problem weiterhilft

 

Hallo

Klar kannst du in PQ auch Berechnungen machen, es ist halt nicht immer so einfach wie man sich das vorgestellt hat bzw. es aus Excel direkt kennt.