Im Hype rund um KI verlieren viele den Bezug zur Realität. Handelt es sich dabei um Vorgesetzte kann das für die Untergebenen ein massives Problem werden

  • HaraldvonBlauzahn@feddit.orgOP
    link
    fedilink
    arrow-up
    26
    ·
    edit-2
    5 days ago

    Ich habe gerade ein sehr interessantes, gehaltvolles und auch gut geschriebenes und designtes Buch gelesen, das u.A. erklärt, warum die LLMs manche Leute so obsessiv werden lassen:

    Baldur Bjarnason, The Intelligence Illusion, ISBN 978-9935-449-16-0 (Link)

    Kurz gesagt sind es:

    • Anthropomorphisierung, also die menschliche Tendenz, anderen Dingen und auch Maschinen ein Bewusstsein / Eigenleben zuzuschreiben (“MS Word will heute nicht”)
    • Ausgabe von Sprache, bisher ein, äh, relativ Sicheres Anzeichen für Vorhandensein von Intelligenz
    • die menschliche Tendenz, irgendwelche Aussagen mit Bezug auf einen selber zuzustimmen
    • Barnum Effect / Forer Effect , ein Merkmal z.B. von Horoskopen und Hellsehern
    • die Tendenz Aussagen zu machen die so allgemein sind dass sie immer irgendwie stimmen
    • die AI Assistenten wiedersprechen nie und haben immer eine Antwort - auch wenn sie für diese kompletten Unsinn fabrizieren
    • Eliza Effect

    Teils sind diese Eigenschaften prinzipbedingte Eigenschaften der “generativen AI”. Teils wohl auch gezieltes Design durch die Tech-Konzerne, ähnlich wie z.B. die Facebook-Software ganz bewusst als “addictive by Design” gestaltet ist.

    Ingesamt führt dass bei den Betroffenen dazu, dass das LLM nicht nur als bewusst sondern superintelligent wahrgenommen wird. Die offensichtliche Unfähigkeit, die diese Systeme mit einfachsten logischen Aufgabenstellungen haben (“Ich will mein Auto waschen. Die Waschanlage ist 500 Meter weit weg. Soll ich zu Fuss gehen oder mit dem Auto fahren?”), wird übersehen. (Vielleicht weil bestimmte Computersysteme, wie Algebra-Expertensysteme, Schachcomputer, oder numerische Wettermodelle erstaunliche Leistungen vollbringen - diese aber mit generativer AI bzw. LLMs rein gar nichts zu tun haben)

    • jagermo@feddit.org
      link
      fedilink
      arrow-up
      9
      ·
      5 days ago

      Llms haben zudem alle jemals erschienenen Bücher über Kulte, Selbstverbesserung, “How to influence people” und anderen Mist gefressen. Jede LLM hat das Wissen von Generationen von Schlangenölverkäufern, “Coaches” und anderem Gschwärl. Und viele Leute in Leitungspositionen sind für sowas anfällig

      • Kratzkopf@discuss.tchncs.de
        link
        fedilink
        arrow-up
        5
        ·
        5 days ago

        Da frag ich mich tatsächlich, ob die LLMs diese Techniken denn umsetzen können. Es ist ja nicht so als könnten sie den Inhalt verstehen, ich würd davon ausgehen, dass nur der Stil und Inhalt in die eigene Redensart aufgenommen, aber nicht angewandt wird. Andererseits sind diese Bücher wahrscheinlich auch schon in einer Art geschrieben, dass die Lesenden überzeugt werden sollen, dass der ganze Inhalt wahnsinnig klug und kompetent ist.

        • HaraldvonBlauzahn@feddit.orgOP
          link
          fedilink
          arrow-up
          1
          ·
          edit-2
          4 days ago

          Es ist ja nicht so als könnten sie den Inhalt verstehen,

          Ein Fleischwolf muss auch keinen Magen, Bewusstsein, oder Geschmacksinn haben, um was mit dem Fleisch-Input anzustellen. Genauso wie ein Diktierprogramm nicht intelligent sein muss, um Luftschwingungen in Text zu verwandeln.

          Die LLMs werden keine verständnisbasierte Veränderungen machen, aber das ist oft nicht nötig damit das Ergebnis plausibel wirkt.

        • HaraldvonBlauzahn@feddit.orgOP
          link
          fedilink
          arrow-up
          1
          ·
          edit-2
          5 days ago

          Da frag ich mich tatsächlich, ob die LLMs diese Techniken denn umsetzen können.

          Die Modelle können auch Texte der Nutzer unaufgefordert umfärben.

          Davon abgesehen gibt es bei den rechten Tech-Bros wie Musk auch eine starkes Interesse an kulthafter Propaganda. Firmen wie Facebook und Tesla wirken ja selber schon wie Sekten.

  • lichtmetzger@discuss.tchncs.de
    link
    fedilink
    arrow-up
    11
    ·
    5 days ago

    Ich habe zwei Chefs und einer davon liebt ChatGPT, er erzählt ständig davon wie es ihm hilft, kreativ zu sein. Am Output kann ich jetzt keine wirkliche Qualitätsverbesserung erkennen - zum Glück aber auch keine signifikante Verschlechterung.

    Als er letztens vorgeschlagen hat, Marble für ein Webprojekt einzusetzen, bin ich jedoch fast vom Glauben abgefallen. Er hat präsentiert, wie er da drei Schritte in einer virtuellen Welt macht, alles sofort zu Pixelbrei wird und war dann der Meinung, das wäre sau geil. Es hat auch niemand sonst in der Firma kritisiert.

    Man muss schon echt hart in der Psychose drin sein, um in diesem Projekt einen Nutzen erkennen zu können…

    • HaraldvonBlauzahn@feddit.orgOP
      link
      fedilink
      arrow-up
      3
      ·
      5 days ago

      Theoretisch müsste es bei solchen Firmen ja ne Art natürliche Auslese geben, dass die Firmen die Blödsinn machen verschwinden und die mit cleveren Chefs übrig bleiben. Ganz optmistisch bin ich da leider nicht.

  • luciferofastora@feddit.org
    link
    fedilink
    arrow-up
    3
    ·
    5 days ago

    Mich wollte einer für eine andere Abteilung abwerben. Er versprach mir dort eine aussichtsreiche Karriere im Bereich KI.

    Er war etwas gekränkt, dass ich das abgelehnt hab.

    • 𝘋𝘪𝘳𝘬@lemmy.ml
      link
      fedilink
      arrow-up
      5
      ·
      6 days ago

      Vorgesetzte nicht, aber Anwender. Erstellt ein Ticket mit einem relativ spezifischen Problem und sagt, er habe auch selbst schon recherchiert, und beschreibt etwas völlig abstruses und gar nicht zum Thema passendes, „das hat mir ChatGPT gesagt“ – und beharrte darauf, dass es das ist.

    • glasratz@feddit.org
      link
      fedilink
      arrow-up
      2
      ·
      5 days ago

      Nicht wirklich, aber ich fürchte die Firma, die unser Dokumentenlenkungssystem stellt, hat so jemanden. Vor einiger Zeit wurde dort ein Chatbot-Handbuch eingeführt, obwohl die Dokumentation des Programms sowieso unvollständig und veraltet ist. Jetzt kann man sich von der KI veraltete und halluzinierte Informationen über die Funktionen der Software ausgeben lassen - und daran wird ständig immer weiter gearbeitet, obwohl es einfach logisch nicht funktionieren kann.

  • HaraldvonBlauzahn@feddit.orgOP
    link
    fedilink
    arrow-up
    6
    ·
    6 days ago

    Ich weiß ja nicht. Also wenn z.B. Leute bestimmte Pillen gegen, sagen wir, Malaria oder Durchfall nehmen würden, und es käme als Folge davon öfter mal vor, dass sie ihren Taschenrechner als göttliche Autorität betrachten und das von ihrer Umgebung so einfordern … dann sollten (und ich hoffte, würden) ja normalerweise schon ein paar Alarmglocken klingeln.

    • nimpnin@sopuli.xyz
      link
      fedilink
      arrow-up
      3
      ·
      6 days ago

      Im Vordergrund der Nebenwirkungen von Mefloquin stehen neurologische und psychiatrische Symptome.[36] Hierzu zählen u. a. Schlafstörungen, Albträume/ungewöhnliche Träume, Schwindel, Koordinations- und Gleichgewichtsstörungen, Tinnitus, Verwirrtheit, Angstzustände, Depressionen, Psychosen, Halluzinationen und Krämpfe. ¯_ (ツ)_/¯ https://de.wikipedia.org/wiki/Mefloquin

      • HaraldvonBlauzahn@feddit.orgOP
        link
        fedilink
        arrow-up
        1
        ·
        5 days ago

        Krass. Deswegen hat man die Zulassung letztlich erlöschen lassen, wenn auch erst nach Jahren.

        Vielleicht sollte man die Produkte amerikanischer Tech Firmen auch zulassungspflichtig machen - so ganz gesund sind sie offensichtlich nicht.