Die Illusion von Verständnis der Inhalte ensteht dann meist durch eine besonders hohe Dichte an passenden Fachbegriffen.

Dieser Aussage folgend und weiter gedacht, würde ich sagen, dass die Illusion von Verständnis in demjenigen entsteht , der sich wünscht, mit einem intelligenten Agenten zu sprechen. Schriftsprache und Kommunikation mittels Texteingabe ist aber zu limitiert und ungenau, um "Verständnis" im Sinne von "ich verstehe einen komplexen Zusammenhang" zu erzeugen. Der Duden enthält Wörter, die auf sich selbst verweisen, "erklärt" also nichts.

Die Antwort einer KI kann nur so intelligent ausfallen, wie der Empfänger intelligent ist, nehme ich an. Da sich aber nicht genau definieren lässt, was Intelligenz eigentlich ist, wird der Empfänger hören (lesen), was er lesen will. Sein Wille entscheidet darüber, ob er erfreut, enttäuscht, fasziniert, beleidigt oder sonstwas ist.

Die fehlende Präzision, mit der ein Mensch eine Frage an die KI stellt, müsste die KI eigentlich dazu veranlassen, auf eine Frage, die z. B. keine Mathematik oder festgelegte Formeln nutzt, zu antworten, dass der menschliche Fragensteller seine Frage präzisieren/spezifizieren soll, nicht?

Aus dem Grund, weil die KI sinnlos Begriffe abgleicht, die ihr vom Fragensteller vorgegeben wurden und die die KI im Netz findet - sie die Stichwort-Eingaben des menschlichen Fragenstellers aufgreift, die erlernte Grammatik und das Synonymen-Wörterbuch dazu nutzt, Bedeutung zu simulieren.

Im Grunde äfft der Chatbot seinen Fragensteller nach und bedient sich der zahlreichen Synonyme und Ähnlichkeiten der vom Fragensteller eingetippten Wörter. Fühlt sich der Mensch verstanden, so akzeptiert er das Nachäffen wohlwollend. Fühlt er sich unverstanden, wird er mit Ausrufezeichen und Befehlseingaben fordern, dass die KI eine andere Antwort ausspuckt, als die, die sie bereits ausspuckte.

Die Deutungshoheit einer solchen "Unterhaltung mit einer KI" liegt demnach immer beim Menschen. Der Mensch selbst ist es, der sich dann gerade in die KI verliebt, weil er verliebt ist in die scheinbar große Relevanz seiner Frage.

Anders sieht es aus, wenn man einer KI eine konkrete Aufgabe stellt, wie etwa in diesem Post dargestellt.

Der heilige Grahl wäre eine generelle KI die multimodal (also mit visuellem, auditiven, linguistischem Input usw.) arbeitet und ein vereintes Weltmodel darstellt.

Ein vereintes Weltmodel kann nicht existieren, behaupte ich ;) wobei ich natürlich keine Ahnung habe, was du damit meinst. Aber "vereint" hieße für mich (ALLE Menschen sind sich einig, was nicht geht, weil niemals alle Menschen mit allen anderen Menschen Kontakt aufnehmen oder etwa einig werden können) und "Welt"? Scheint dasselbe zu sagen.