Diskussion:Methode der kleinsten Quadrate/Archiv/2010

Diese Seite ist ein Archiv abgeschlossener Diskussionen. Ihr Inhalt sollte daher nicht mehr verändert werden. Benutze bitte die aktuelle Diskussionsseite, auch um eine archivierte Diskussion weiterzuführen.

Um einen Abschnitt dieser Seite zu verlinken, klicke im Inhaltsverzeichnis auf den Abschnitt und kopiere dann Seitenname und Abschnittsüberschrift aus der Adresszeile deines Browsers, beispielsweise

[[Diskussion:Methode der kleinsten Quadrate/Archiv/2010#Thema 1]]

oder als Weblink zur Verlinkung außerhalb der Wikipedia

https://de.wikipedia.org/wiki/Diskussion:Methode_der_kleinsten_Quadrate/Archiv/2010#Thema_1

Sinn

Der Sinn der "Methode der kleinsten Quadrate" wird einem Geisteswissenschaftler aus der Einleitung leider nicht deutlich. Wofür wird sie verwendet? Das sollte hier deutlich rausgestellt werden. Gruß, --Alecconnell 17:43, 18. Mär. 2010 (CET)

Ok, man muss evtl. unter Ausgleichungsrechnung nachschauen, wenn man ganz außerhalb der Materie steht. Dann sollte sich aber der Sinn erschließen. Man kann bei solchen höhermathematischen Methoden halt nicht in jeder Einleitung bis auf Adam und Eva zurück und kann damit leider nicht immer in wenigen dürren Worten Allgemeinverständlichkeit erreichen. Das sollte man immer anstreben, aber manchmal geht es wohl einfach nicht. --PeterFrankfurt

Naja, so höhermathematisch ist das ganze ja nicht. Mich würde vielmehr interessieren, wo es denn in der Einleitung hakt? Mit der Aussage "Versteh ich nicht", kann ich beim jetzigen Stadium des Artikels nicht viel anfangen. --P. Birken 17:33, 21. Mär. 2010 (CET)

Nun, ich kann mich schon in Leute reinversetzen, die bei Satzteilen wie parameterabhängigen problemangepassten Familie von Funktionen auf Bahnhof schalten. Aber wie gesagt, das halte ich an dieser Stelle hier nicht für übertrieben. Die Leute, die das wirklich verstehen wollen, müssen diese Voraussetzungen halt mitbringen, ohne die haben sie sowieso nichts von den anderen Informationen. --PeterFrankfurt 01:41, 22. Mär. 2010 (CET)

Lösung des Minimierungsproblems?

Also irgendwie fehlt mir die Lösung des Problem, auf der Seite ist nirgends folgende Zeile zu sehen:

$x=...$

Da steht zwar:

$A^{T}Ax=A^{T}b$

Aber man sollte meiner Meinung nach ersteinmal den, zwar numerisch schlechtesten, aber theoretisch gangbaren Weg schon hinschreiben bevor man auf numberische Lösungsverfahren hinweist. Ich meine natürlich die Lösung:

$x=(A^{T}A)^{-1}A^{T}b$

Ich glaube nicht, dass es selbstverständlich ist. Außerdem sollte die explizite Lösung schon irgendwo auftauchen.

Des weiteren fehlt die Fehlerabschätzung der Lösung. -- Erazortt 14:03, 1. Sep. 2010 (CEST)

Für theoretische Betrachtung wird aber nicht $x=(A^{T}A)^{-1}A^{T}b$, sondern die Pseudoinverse. Einen besonderen Sinn, die Normalgleichungen nochmal umzuformen, sehe ich ehrlich gesagt nicht. --P. Birken 11:14, 5. Sep. 2010 (CEST)

Allgemeiner linearer Fall

Ich halte den allgemeinen linearen Fall für stärker hervorhebenswert. Er zeigt im Grunde die Mächtigkeit des ganzen Verfahrens.

Mir fehlt etwa folgende Darstellung:

${\begin{pmatrix}\left\langle \varphi _{0},\varphi _{0}\right\rangle &\left\langle \varphi _{0},\varphi _{1}\right\rangle &\cdots &\left\langle \varphi _{0},\varphi _{k}\right\rangle \\\left\langle \varphi _{1},\varphi _{0}\right\rangle &\left\langle \varphi _{1},\varphi _{1}\right\rangle &\cdots &\left\langle \varphi _{1},\varphi _{k}\right\rangle \\\vdots &\vdots &\ddots &\vdots \\\left\langle \varphi _{k},\varphi _{0}\right\rangle &\left\langle \varphi _{k},\varphi _{1}\right\rangle &\cdots &\left\langle \varphi _{k},\varphi _{k}\right\rangle \\\end{pmatrix}}{\begin{pmatrix}c_{0}\\c_{1}\\\vdots \\c_{k}\end{pmatrix}}={\begin{pmatrix}\left\langle f,\varphi _{0}\right\rangle \\\left\langle f,\varphi _{1}\right\rangle \\\vdots \\\left\langle f,\varphi _{k}\right\rangle \\\end{pmatrix}}$

Dies ist die wichtigste Grundgleichung der Methode der kleinsten Quadrate, aus der alles herausgelesen werden kann. Auch die prinzipielle Wirkungsweise kann hier kurz und knapp erklärt werden: Man steckt beliebige linear unabhängige Basisfunktionen $\varphi _{i}$ hinein, eine zu approximierende Funktion $f$ und bekommt als Lösung die Koeffizienten $c_{i}$ heraus, die die Linearkombination mit minimalem Fehlerquadrat ergeben. Die Skalarprodukte sind wahlweise Summen über diskrete Stützstellen oder Faltungen von Funktionen.

Das Verfahren erlaubt also die Berechnung einer Linearkombination von beliebigen Basisfunktionen beliebiger Dimension, um eine Messkurve so genau wie möglich zu approximieren. Spezialfälle, wie die Polynombasis, Fourierbasis usw. oder niedrig- bzw. eindimensionale Fälle sind alle in dieser Gleichung enthalten. Man muss im Artikel leider über sehr viel Text und unnötig ausschweifende Beispiele hinweglesen, bis auf den Punkt gebracht wird, was die Methode kann.

Etwas unglücklich finde ich auch die Wahl der Variablen. Die Koeffizienten werden als x bezeichnet und die x-Werte (Abszisse) als t. Das kann Verwirrung stiften. Mein Vorschlag ist, zumindest die Koeffizienten mit c zu bezeichen (c von engl. coefficient).

Die Herleitung dieser wichtigen Grundgleichung erfolgt durch die Umformulierung der Fehlerquadratnorm

${\begin{aligned}\Phi (c_{1},c_{2},\ldots ,c_{k})&=&\left\Vert g-f\right\Vert _{2}^{2}=\left\langle g-f,g-f\right\rangle \\&=&\left\langle \sum _{i=1}^{k}c_{j}\varphi _{i}-f,\sum _{i=1}^{N}c_{j}\varphi _{i}-f\right\rangle \\&=&\left\langle f,f\right\rangle -2\sum _{i=1}^{k}c_{j}\left\langle f,\varphi _{i}\right\rangle +\sum _{i=1}^{k}\sum _{j=1}^{k}c_{i}c_{j}\left\langle \varphi _{i},\varphi _{j}\right\rangle \end{aligned}}$

und durch die Extremalforderung

${\frac {1}{2}}{\frac {\partial \Phi }{\partial c_{i}}}=\left\langle f,\varphi _{i}\right\rangle +\sum _{j=1}^{k}c_{i}\left\langle \varphi _{i},\varphi _{j}\right\rangle =0,\quad {\mbox{für }}i=0,1,\ldots ,k,$

was direkt der obigen Matrixgleichung enstpricht.

Die Herleitung folgt dem Lehrbuch Schwarz/Köckler (Schwarz, Hans R. ; Köckler, Norbert: Numerische Mathematik. Teuber, 2009 (7.,überarb. Aufl.). doi:10.1007/978-3-8348-9282-9; ISBN 978-3-8348-9282-9).

--Chris☂ 18:51, 24. Okt. 2010 (CEST)

So, ist eingebaut. Alle haben schweigend zugestimmt... --Chris☂ 00:05, 27. Okt. 2010 (CEST)

Es war aber nicht die Rede davon, den zweidimensionalen Fall ganz zu streichen und die Reihenfolge umzukehren. In der WP geht es normalerweise andersrum, vom Einfachen zum Komplexen, so dass der nicht so fachkundige Leser so weit mithalten kann, wie er folgen kann und bis zu seinem Ausstiegspunkt immerhin schon einiges mitbekommen hat. Wenn man ihn zuallererst mit dem allgemeinen, zwangsläufig sehr viel abstrakter aussehenden Fall, konfrontiert, steigt er sofort aus, ohne noch zu dem Teil zu kommen, den er wahrscheinlich noch hätte begreifen können. Daher meine Bitte: 1. Reihenfolge wieder wie vorher, 2. als Zwischenschritt auch den noch anschaulichen zweidimensionalen Fall wieder rein. --PeterFrankfurt 03:19, 27. Okt. 2010 (CEST)

Zum zweidimensionalen Fall: den ich habe ihn nicht entfernt, sondern nur die Überschrift verändert. Dimension ist hier mehrdeutig. Man kann einerseits die Zahl der zu bestimmenden Parameter der Modellfunktion darunter verstehen, andererseits die Zahl der freien Koordinaten der gegebenen Funktion. Auf die Unterscheidung wurde oft nicht geachtet. Auch war oft unklar, was mit linear gemeint ist: die Parameter oder die Koordinaten. Anfänger können das leicht missverstehen. Ich habe versucht, das Problem zu verbessern.

Bei der Reihenfolge, ob "Allgemein -> Speziell" oder "Einfach -> Komplex" der übliche Aufbau ist, muss ich nochmal andere Beispiele anschauen. Ich hatte den Eindruck ersteres hätte sich durchgesetzt. Manche werden vieleicht den allgemeinen Fall überspringen, was dank der Unterüberschriften aber leicht möglich ist. Wer den Allgemeinfall versteht, braucht die Spezialfälle und Beispiele gar nicht mehr zu lesen. Die allgemeine Formel ist wirklich eine sehr nützliche Formel, ein wahres Juwel. Man kann sagen, ich verdiene im Moment mit der Formel Geld (mit einer weiteren Verallgemeinerung, nämlich wenn man das Skalarprodukt im allgemeinen mathematischen Sinn versteht und hier noch lokale Gewichtungen vornimmt). --Chris☂ 07:52, 27. Okt. 2010 (CEST)

Ich denke, wenn man einen Spezialfall als Anwendungsbeispiel des allgemeinen Falls versteht, ist es üblich den eingeschränkten Fall nach dem allgemeinen Fall zu behandeln. Außerdem sollte die Wikipedia erstrangig ein Nachschlagewerk sein sollte und nur zweitrangig ein Tutorial, dass den Leser langsam an ein Thema heranführt. Das fällt mir als Argument dafür ein, mit dem allgemeinen Fall zu beginnen. --Chris☂ 19:32, 27. Okt. 2010 (CEST)

Wenn ich mich bezüglich der Löschung verkuckt habe, sorry. Bezüglich der Reihenfolge argumentierst Du völlig korrekt, - WENN wir ein Unimathematik-Lehrbuch oder ein Referenzwerk für Fachleute schreiben würden. Tun wir aber nicht. Die Wikipedia wendet sich an die größtmögliche Allgemeinheit, und die muss man ein bisschen sanfter behandeln als den Spezialisten. Letzterer wird aus der Fachliteratur einen anderen Aufbau gewohnt sein, aber auch nicht gleich in Ohnmacht fallen, wenn es ihm mal andersrum präsentiert wird. --PeterFrankfurt 03:13, 28. Okt. 2010 (CEST)

Stimmt schon auch. Aber dem Leser, der kein Uni-Student ist, täte man einen größeren gefallen, wenn man die einfachen Fälle überarbeiten würde. Was soll z.B. beim Fall der Ausgleichsgeraden (früher der zweidimensionale Fall) die Matrixschreibweise? Ist hier völlig unnötig. Wer sich nicht mit Matrizen auskennt, muss hier erst mal einen Schock überwinden, obwohl er im richtigen Absatz gelandet ist. Und nachdem die Matrix aufgestellt wurde, wird sie im nächsten Schritte schon wieder aufgelöst. Die Matrix ist also überflüssig und die Minimierungsforderung könnte man auch Laienverständlicher und intuitiver ausdrücken.

Im meinem allgemeinen Fall könnte man das Gleichungssystem natürlich auch ohne Matrix ausdrücken, aber hier macht es Sinn, da man in komplizierteren Fällen das Gleichungssystem in Matrix-Form lösen muss. --Chris☂ 17:02, 29. Okt. 2010 (CEST)

Wenn ich es richtig verstehe, wollte der Autor damit (ich war es also nicht) gerade dem Nichtfachmann anhand dieses Beispiels die Matrixschreibweise in dieser noch einigermaßen übersichtlichen Situation nahebringen. Also ebenfalls ein didaktischer Ansatz, den ich nur unterstützen kann. Also bitte, bitte dementsprechend wieder umbauen. --PeterFrankfurt 01:24, 30. Okt. 2010 (CEST)

Sorry, dass ich jetzt erst antworte, habe das wohl in der Beobachtungsliste übersehen. Was wie umbauen? Ich sprach hier vom Abschnitt "Spezialfall einer einfachen linearen Ausgleichsfunktion". Wem nützt diese Matrix für's Verständnis?. Die ist Didaktisch völlig wertlos. --Chris☂ 19:19, 14. Jan. 2011 (CET)

Also mir gefällt das überhaupt nicht. Zunächst ist die Variante im Schwarz-Köckler unnötig unverständlich und für den typischen Leser (kein Mathematiker, sondern ein Ingenieur oder Physiker) viel schlechter zu verstehen. Die Benutzung von Skalarprodukten oder Faltungen ist meiner Meinung nach völlig unnötig, ebenso wie die Herleitung, die nicht ausgeführt werden muss. Insofern würde ich vorschlagen: Revert, und dann den vorherigen Abschnitt "Mehrere Variablen" etwas massieren. --P. Birken 15:44, 30. Okt. 2010 (CEST)

Ich habe das im Schwarz-Köckler zum ersten mal richtig verstanden. Zumindest den allgemeinsten linearen Fall. Ob der jetzt schwer verständlich ist oder nicht, er wurde bisher überhaupt nicht erwähnt. Unter der Überschrift "Allgemeiner linearer Fall" stand vorher ein sehr eingeschränkter Spezialfall, der als allgemein verkauft wurde. Faltungen habe ich mal in Klammern gesetzt, muss man hier nicht kennen. Aber das Skalarprodukt kennt jeder von der Schule, oder nicht? Man könnte auch die Summensymbole hinschreiben. Aber dann würde die Formel sehr unübersichtlich werden und man müsste zusätzliche Indizes einführen. Die Herleitung stört niemand. Sie ist klar also solche Gekennzeichnet, daher kann sie der Leser leicht überspringen. Was meinst du genau mit massieren? Ich wüsste nicht, wie man den Abschnitt verallgemeinern könnte, ohne bei genau dem zu landen, was ich als den allgemeinen Fall dargestellt habe.--Chris☂ 19:19, 14. Jan. 2011 (CET)