Wir alle sind immer irgendwo in unserer eigenen, kleinen Blase unterwegs und verfolgen unsere eigenen Themen. Ich würde gerne einen Einblick von euch bekommen, was gerade bei euch so abgeht, passiert, etc. Was rollt auf euch zu? Was beschäftigt eure Branche gerade am meisten? Jetzt gerade und perspektivisch?
Ich z.B. arbeite im Verlagswesen. Bei uns findet gerade wegen KI ein großer Umbruch im ganzen publishing Bereich statt. Außerdem: Jedes Unternehmen - egal ob die Volksstimme in der Börde oder die NYT - sucht gerade alternativen zur Typischen Paywall. Alle wissen, dass das kein langfristiges Konzept ist, was die Branche trägt.
Wie siehst du als ML Ingenieur die Entwicklung zu mehr Einheitsbrei durch ML Systeme? Also ist das tatsächlich auch außerhalb der inzwischen madigen Google Suchergebnisse gegeben und ein langfristiges Problem, oder ist das eher ein Ausnahmefall oder technisch gut lösbar?
Ich weiß jetzt nicht worauf genau du mit Einheitsbrei anspielst, aber ich habe neulich einen Artikel gesehen wo es darum ging, dass zukünftiges Training von LLMs ein Problem haben könnte, wenn in den Trainingsdaten aus dem Netz haufenweise halbgarer KI-Content dabei ist.
Ansonsten ist mein Feld eher mit Sensordaten aus Industriemaschinen beschäftigt. Da gibt’s bis jetzt zum Glück keine KI die Daten generiert.
Einheitsbrei bezogen darauf, dass statistische Systeme zu Mittelwerten tendieren, was z.B. bei Suchanfragen bedeutet, dass es schwieriger wird spezifische Infos zu finden. habe z.B. gerade einen Namen googlen müssen, um das Geschlecht herauszufinden. Name + gender als Suchanfrage hat mir dann zig Artikel zu gendergerechter Sprach ausgegeben, weil das so viel stärker mit dem Begriff vom System assoziiert wird, als eine Webseite zu finden, wo der gesuchte Name beschrieben ist.
Das für LLMs dann das Problem wird, dass sie auf ihrem eigenen halbgaren Content trainieren ist spannend, wobei ich fürchte das ein ähnliches Ergebnis wie bei den Sichanfragen rauskommt. Also weniger spezifische Antworten, weil deine 1% Anfrage nicht gegen die 60% Anfragen ankommen kann.
Zu den Sensordaten, trainiert ihr Modelle, die schon ein gewisses Physikverständnis hardgecoded haben, oder betrachtet ihr die Maschinen als Blackbox was Input/Output angeht?
Tut mir Leid, wenn ich dich mit Fragen zu ML überfalle.
Ach kein Ding. Wenn ich keinen Bock mehr habe, antworte ich einfach nicht mehr.
Ich denke, du hast grundlegend Recht, aber hier musst du sehen, dass es sich nicht um marginale Verteilungen handelt, sondern um bedingte. Deine Suchanfrage oder der Prompt des LLM sind die Bedingung der gelernten Verteilung. Ich denke es wird eher darauf hinauslaufen diese Bedingung so genau wie möglich zu formulieren. Dadurch bekommt man dann auch ein Sample aus der Verteilung die man wollte.
Wir arbeiten bei unseren Modellen noch komplett datengetrieben. Die Maschinen sind so unterschiedlich, dass es eine Sisyphosaufgabe wäre jede einzelne zu physikalisch zu modellieren. Langfristig werden wir wohl nach Clustern suchen und diese ähnlichen Maschinen zusammen modellieren.