Polynom Regression Herleitung

[size=150]Verfahren [/size][br][br]Einsetzen der Punkte in eine Ausgleichsgerade [br][br][math] \left(x_i, y_i \right) \in f: y \, = \, a_1 \; x + a_0[/math][br][br]ergibt ein GLS [math]X=\left\{x_i\right\},Y=\left\{y_i\right\}[/math][br][br][math]\left(\begin{array}{rrrr} a_1 \; x_1 + a_0 = y_1\\ a_1 \; x_2 + a_0 = y_2\\...\\ a_1 \; x_n +a_0 = y_n\\\end{array}\right) [/math] geschrieben als Matrixgleichung [br]A [math]\binom{a_0}{a_1}[/math] = Y ===> [math]\left(\begin{matrix} 1&x_1\\1&x_2\\..&..\\1&x_n\end{matrix}\right) \cdot \left(\begin{array}{rr}a_0\\a_1\\\end{array}\right)=\left(\begin{array}{rrrr}y_1\\y_2\\...\\y_n\\\end{array}\right) [/math][br][br]Minimiere die Abweichungsquadrate Residuen R (Residuenquadratsumme bezeichnet Abweichungsquadratsumme). Erweitern auf Polynome höheren Grades erweitert die Matrix um Spalten mit Potenzen von x[sub]i[/sub] (Parabel x[sub]i[/sub][sup]2[/sup] , kubische Parabel x[sub]i[/sub][sup]2 [/sup]x[sub]i[/sub][sup]3[/sup])...[br][br][math]R_i=\left(f\left(x_i\right)-y_i\right)^2[/math][br][br][b]Min Q[/b] (Zeile 1-15)[br]suche lokales Minimum der Residuenfunktion [math]Q=\sum_{i=1}^{n}R_i[/math]: [br][br][math]Q(a_1, a_0) \, := \, \left(a_1 \; x_1 + a_0 - y_1 \right)^{2} + \left(a_1 \; x_2 + a_0 - y_2 \right)^{2} +.. + \left(a_1 \; x_n + a_0 - y_n \right)^{2} [/math][br][br]minimiere (partielle Ableitungen):[br][br][math]\left(\begin{matrix}dQ \left(a_1, a_0 \right) \; da_o\\dQ \left(a_1, a_0 \right) \; da_1\\\end{matrix}\right) = 0[/math] [br][br]was ein LGS ergibt[br][br][math]\left(\begin{matrix}{r} n \; a_0 + \left( x_1 + x_2+..+x_n \right) \; a_1 &=& y_1 + y_2 +..+ y_n\\ \left( x_1 + x_2 +..+ x_n \right) \;a_0 + \left(x_1^{2} + x_2^{2} + x_n^{2} \right) \; a_1 & =& x_1 \; y_1 + x_2 \; y_2 +..+ x_n \; y_n\\\end{matrix}\right) [/math][br][br]das als Matrixgleichung geschrieben führt auf[br][br][math]\left(\begin{array}{rr}n& x_1+x_2+..+x_n\\x_1+x_2+..+x_n& x_1^{2} + x_2^{2}+..+x_n^{2}\\\end{array}\right) [br]\left(\begin{array}{rr}a_0\\a_1\\\end{array}\right) = \left(\begin{matrix} y_1+y_2+..+y_n\\ x_1 y_1 + x_2 y_2+..+ x_n y_n\\\end{matrix}\right) [/math][br][br][b]Normalengleichung[/b] (Zeile 15-)[br]aus Residuenfunktion Q [math]\Rightarrow A^T A\cdot \left(\begin{array}{rr}a_0\\a_1\\\end{array}\right)=A^T b[/math] [br][br]Vom [b]Gleichungssystem [/b]der Kurvenpunkte zur Normalengleichung [br][math]f\left(x\right)=a_0 + a_1 x+..+a_n x^n [/math] [br][math]\left(X,Y\right)\in f\left(x\right)=y[/math] [br][math]\left\{ [br] a_n \; x_{1}^{n} + a_{n-1} \; x_{1}^{n-1}+...+ a_1 \; x_{1} + a_0 = y_{1}, [br] a_n \; x_{2}^{n} + a_{n-1} \; x_{2}^{n-1}+...+ a_1 \; x_{2} + a_0 = y_{2} [br] ,\cdot...\cdot, [br] a_n \; x_{n}^{n} + a_{n-1} \; x_{n}^{n-1}+... + a_1 \; x_{n} + a_0 = y_{n} \right\} [/math][br][math]\Longrightarrow A \left\{a_0,a_1,\ldots,a_n\right\} = y[/math] [br][math]\Longrightarrow A^TA\cdot \left\{a_0, a_1,\ldots,a_n\right\} =A^T\;y[/math] [br][math]\left\{a_0, a_1,\ldots,a_n\right\} =(A^{T} A)^{-1} A^T\;y[/math] [br][url=https://ggbm.at/qsE5aQEp]→֍[icon]/images/ggb/toolbar/mode_hyperbola3.png[/icon][/url][br][br][br][br]Wahl des Regressionspolynoms durch Anpassung des Koeffizientenvektors [math]\text{ }X_a[/math] , Koeffizienten [math]a_i[/math] mit dem Schieberegler n (Grad des Polynoms). In der Liste Graph sind A_1 .. A_9 Punkte vorgelegt (aktuell A_1 .. A_6 verwendet) - maxA_n anpassen. Punkte anfassen und verschieben oder im Algebrafenster ändern...[sup][/sup]
App Beispiel
Eine kubische Regressionsparabel der Bauart[br][br][math]f(x):=a_3 \; x^{3} + a_2 \; x^{2} + a_1 \; x + a_0[/math][br][br]Punkte P[sub]1[/sub]...P[sub]5[/sub] in Parabelform eingesetzt [math]\mapsto[/math] LGS als Matrix-Gleichung[br][math]P_i = \left\{(x_i\; ,\; y_i) = \left(-3, 2 \right), \left(-2, 0 \right), \left(1, 1 \right), \left(4, 3 \right), \left(6, 6 \right) \right\} [/math][br][br]([i]10[/i]) [math] \quad \; \begin{array}{rrrr} x_i^3\;&x_i^2\;&x_i\;&1 \\\end{array} \quad \quad \begin{array}{r}\; a_i\\\end{array} \quad = \quad\begin{array}{r}y_i\\\end{array} \\[br] \left(\begin{array}{rrrr}-27&9&-3&1\\-8&4&-2&1\\1&1&1&1\\64&16&4&1\\216&36&6&1\\\end{array}\right) \cdot \left(\begin{array}{r} a_3\\a_2\\a_1\\a_0 \\\end{array}\right) = \left(\begin{array}{r}\\2\\0\\1\\3\\6\\\end{array}\right) [br][/math][br]Vandermonde Matrix[br][br]A (a[sub]i[/sub]) = (y[sub]i[/sub])[br]Normalengleichung (orthogonal minimiere [url=https://www.geogebra.org/m/ytftahyv]Überbestimmte LGS[math]\nearrow[/math][/url]): [br]A[sup]T[/sup] A (a[sub]i[/sub]) = A[sup]T[/sup] (y[sub]i[/sub]) [br][br]([i]22[/i]) [math] \left(\begin{array}{rrrr}51546&8526&1650&246\\8526&1650&246&66\\1650&246&66&6\\246&66&6&5\\\end{array}\right) \cdot \left(\begin{array}{r}a_3\\a_2\\a_1\\a_0\\\end{array}\right) =\left(\begin{array}{r}1435\\283\\43\\12\\\end{array}\right) [/math][br][br]Löse [br] (a[sub]i[/sub]) = (A[sup]T[/sup] A)[sup]-1[/sup] A[sup]T[/sup] (y[sub]i[/sub]) [br][br]([i]26[/i]) [math]\left(\begin{array}{r}a_3\\a_2\\a_1\\a_0\\\end{array}\right) = \left(\begin{array}{r}-0.012\\0.201\\0.204\\0.117\\\end{array}\right) \\f(x):= -0.012 \; x^{3} + 0.201 \; x^{2} + 0.204 \; x + 0.117[/math]
[math]\left\{(x_i,y_i)\right\} = \left\{ \left(-\frac{7}{2}, 2 \right), \left(-2, 0 \right), \left(\frac{3}{4}, \frac{5}{4} \right), \left(4, 3 \right), \left(6, 6 \right) \right\} [/math][br][br][math] X= \left\{ -3.5, -2, 0.75, 4, 6 \right\} ; Y= \left\{ 2, 0, 1.25, 3, 6 \right\} [/math][br][br]Die Normalengleichung für eine Ausgleichsgerade schreib ich mit zusammengefassten Summen auf[br][br][math]S_x=\sum_{i=1}^{n}X [/math], [math]S_y=\sum_{i=1}^{n}Y [/math], [math]S_{xx}=\sum_{i=1}^{n}X^2 [/math], [math]S_{xy}=\sum_{i=1}^{n}X Y [/math][br][br]===> [math]\left(\begin{array}{rr}n&S_x\\S_x&S_{xx}\\\end{array}\right) \; \left(\begin{array}{r}a_0\\a_1\\\end{array}\right) = \left(\begin{array}{r}S_y\\S_{xy}\\\end{array}\right)[/math] [br]===> [math]\left(\begin{array}{r}a_0\\a_1\\\end{array}\right) = \left(\begin{array}{rr}n&S_x\\S_x&S_{xx}\\\end{array}\right)^{-1} \; \left(\begin{array}{r}S_y\\S_{xy}\\\end{array}\right)[/math] [br]===> [math]\left(\begin{array}{r}a_0\\a_1\\\end{array}\right) = \frac{1}{S_x^{2} - S_{xx} \; n} \cdot \left(\begin{array}{rr}-S_{xx}&S_x\\S_x&-n\\\end{array}\right) \left(\begin{array}{r}S_y\\S_{xy}\\\end{array}\right) [/math][br]===> [math]\left(\begin{array}{r}a_0\\a_1\\\end{array}\right) = \frac{1}{S_x^{2} - S_{xx} \; n} \cdot \left(\begin{array}{r}S_x \; S_{xy} - S_y \; S_{xx}\\S_x \; S_y - S_{xy} \; n\\\end{array}\right) [/math][br]===> [math]\left(\begin{array}{r}a_0\\a_1\\\end{array}\right) =\left(\begin{array}{r}1.968\\0.459\\\end{array}\right)[/math] , [math] \left\{ S_x = 5.25, S_y = 12.25, S_{xx} = 68.813, S_{xy} = 41.938, n = 5 \right\} [/math][br][table][tr][td]S[sub]x[/sub] =Sum(X)[br]S[sub]y[/sub] =Sum(Y)[br]S[sub]xx[/sub]=Sum(X X)[br]S[sub]xy[/sub]=Sum(X Y)[/td][td][br]{{n, S_x}, {S_x, S_{xx}}}^-1 {S_y, S_{xy}}[br][br][/td][td][/td][/tr][/table]Eine Formel für die Geradenparameter mit leicht berechenbaren Summen aus den Koordinaten der Regressionspunkte.[br][br]Bestimmtheitsmaß[br][math]R^2=1 - \frac{Sum \left(\left(f\left(X \right) - Y \right)^{2} \right)}{Sum \left(\left(Y - mean \left(Y \right) \right)^{2} \right)}[/math]
Mathelounge Artikel Regression

Information: Polynom Regression Herleitung