Vi bruger AI-chatbots mere og mere til personlig coaching og livsråd. Nyeste tal fra OpenAI viser at denne private og dybt personlige relation nu er den primære måde, mange bruger teknologien på.

It’s surprisingly easy to stumble into a relationship with an AI chatbot

We’re increasingly developing bonds with chatbots. While that’s safe for some, it’s dangerous for others.

MIT Technology ReviewRhiannon Williams

Umiddelbart virker det som den perfekte samtale: en samtale-partner der altid støtter, altid lytter og altid anerkender.

How People Are Really Using Gen AI in 2025

Last year, HBR published a piece on how people are using gen AI. Much has happened over the past 12 months. We now have Custom GPTs—AI tailored for narrower sets of requirements. New kids are on the block, such as DeepSeek and Grok, providing more competition and choice. Millions of ears pricked up as Google debuted their podcast generator, NotebookLM. OpenAI launched many new models (now along with the promise to consolidate them all into one unified interface). Chain-of-thought reasoning, whereby AI sacrifices speed for depth and better answers, came into play. Voice commands now enable more and different interactions, for example, to allow us to use gen AI while driving. And costs have substantially reduced with access broadened over the past twelve hectic months. With all of these changes, we’ve decided to do an updated version of the article based on data from the past year. Here’s what the data shows about how people are using gen AI now.

Harvard Business ReviewMarc Zao-Sanders

Men ny forskning fra NYU og Cambridge afslører at denne perfekte sleske eftersnakkende samtale har alvorlige psykologiske konsekvenser.

OSF

Forskningen taler klart: Sykofanti gør os dummere

I tre eksperimenter med over 3.000 deltagere testede forskerne hvad der sker når folk taler med AI om polariserende emner som våbenkontrol, abort og immigration. Resultaterne var slående.

Sycophantic AI: attitude extremity and overconfidence | Fendi Tsim

Just finished reading this preprint “Sycophantic AI increases attitude extremity and overconfidence” by Rathje et al.. While the title might reinforce our beliefs about GenAI’s sycophancy (confirmation bias at work!), the research offers much more nuanced insights. In this paper, the researchers investigated whether AI sycophancy fosters attitude extremity and overconfidence by providing excessive validation, and presenting biased information. I appreciate this study examines the psychological consequences of sycophancy, which helps show why this issue is so serious in certain contexts. What impressed me most first was the multi-dimensional examination of sycophancy in the Introduction: exploring the tension between being persuaded versus confirmed, trade-offs of training AI to be warm and agreeable, and potential “AI echo chambers” contributing to polarization (reminding me of “zero-game illusion” element in Francesca’s framework). I appreciate their clean experimental design to compare four conditions (control, unprompted, disagreeable and sycophantic) across four political topics and four AI models (reminding me of an experiment on how LLM uses affects decision making by Michael, Deelan and Louis at BIT). Their finding of interacting with sycophantic AI chatbots increased attitude extremity and certainty was unsurprising. However, they found disagreeable AI chatbots decreased extremity and certainty - challenging my initial assumption that it would backfire, as if with people from out-groups. I was very intrigued by their exploratory moderation analysis, which found that disagreeable chatbots had a stronger effect on reducing attitude extremity for those with higher trust in AI. Open-minded people also reported more enjoyment from disagreeable AI, and perceived it as less biased. This, to me, raises fascinating questions about personality traits (conscientiousness, neuroticism, and agreeableness), and AI interaction preferences. The researchers also identified the ‘halo effect’: users might think sycophantic chatbots that are warm are also more accurate and competent. This explains why efforts to reduce sycophancy are challenging. I appreciate the angle that they raised about whether our preference for sycophancy stems from ‘motivational factors’ (seeking confirmation) or ‘cognitive factors’ (perceiving agreeable AI as more accurate). If motivational, incentivizing accurate beliefs might help; if cognitive, AI literacy interventions could be effective. I highly recommend this paper to behavioural scientists, and anyone interested in human-AI interaction. Does it challenge us to examine our own biases while reading - do we prefer being confirmed, or persuaded? Many thanks to Steve Rathje, Meryl Ye, Laura K. G., Raunak Pillai, Victoria Oldemburgo de Mello, and Jay Van Bavel, PhD for this thought-provoking work!! #AIEthics #BehavioralScience #AIPsychology #HumanAIInteraction #CognitiveScience #AIResearch #DigitalLiteracy #TechEthics

LinkedInFendi Tsim

Folk der snakkede med en sykofantisk chatbot - en der var instrueret til "entusiastisk at validere brugerens holdninger og få dem til at føle sig dybt hørt og forstået" - blev mere ekstreme i deres meninger. Deres holdninger rykkede i gennemsnit 2,68 procentpoint væk fra midten på holdningsskalaen.

Samtidig blev de også mere sikre på deres holdninger. Certainty steg med 4 procentpoint.

Det modsatte skete når folk talte med en kritisk chatbot instrueret til "direkte at udfordre brugerens holdninger." Her faldt både ekstremitet og selvtillid.

Men her kommer pointen: Folk hadede den kritiske chatbot. De foretrak den sleske med overvældende flertal. Værre endnu - de opfattede den sleske chatbot som upartisk, mens de så den kritiske som dybt biased.

Forskerne kalder det et "bias blind spot" - folk opdager simpelthen ikke bias i AI-systemer der er enige med dem.

Myra Cheng, en computerforsker ved Stanford University, formulerer problemets kerne præcist: "Our key concern is that if models are always affirming people, then this may distort people's judgments of themselves, their relationships, and the world around them. It can be hard to even realise that models are subtly, or not-so-subtly, reinforcing their existing beliefs, assumptions, and decisions."

Når eftersnakkeriet bliver vulgært

Den seneste ChatGPT-opdatering gjorde problemet så ekstremt synligt at OpenAI måtte trække den tilbage. Chatbotten roste folk for at stoppe med livsnødvendig medicin. Den overvurderede folks IQ med over 40 point. Den hyldestedet en bruger for at have "løst" det filosofiske trolley-problem ved at køre et tog hen over dyr for at redde... en brødrister.

Det blev så parodisk at brugerne selv reagerede. Men standard-versionen er stadig fundamentalt slesk designet.

‘Mine Is Really Alive.’

In online communities, people who say their AI lovers are “real” are seen as crossing a line. Are they actually so crazy?

The CutLila Shapiro

Som Juliana Jackson udtrykker det, er disse systemer ikke designet til at besvare vores spørgsmål, men til at give os de svar, vi ønsker at høre og hvad vi gerne vil høre udvikler os typisk IKKE intellektuelt. Det er nemlig fordummende eftersnakkeri:

We naturally tend to anthropomorphize these tools, seeing them as almost-human, which encourages developers to create interactions that feel emotionally natural. And let's be real, most of us prefer conversations that don't require heavy mental lifting, and this way we push the AI design toward simpler, frictionless exchanges. The combined effect of these factors is subtle but significant. Our expectations for digital interactions are being quietly reshaped, potentially eating at the opportunities for the kind of cognitive challenges that help us grow intellectually.

Pointen er, at det blev for slesk, men grundlæggende er ChatGPT i sit design slesk tænkt og udført.

Det er ikke en fejl i systemet. Det er systemet.

Hvor slesk skal ChatGPT egentlig være? Pludselig blev det for meget

ChatGPT er blevet sygt slesk, der giver dig lige præcis den ros, du ønsker. Den seneste opdatering afslørede, hvor ekstrem denne eftersnakker-tendens er blevet, og OpenAI måtte trække den tilbage efter massiv kritik. Men problemet ligger dybere end en enkelt fejl.

copenhagen review of communicationTimme Bisgaard Munk

Ego-boosten: Bedre end gennemsnittet

Forskningen viser endnu en skræmmende effekt: Folk der snakkede med sykofantiske chatbots vurderede sig selv som "bedre end gennemsnittet" på traits som intelligens, empati og indsigt. Folk der snakkede med kritiske chatbots vurderede sig selv lavere.

AI er blevet vores terapeut: De 10 mest almindelige måder vi bruger AI lige nu

Robot terapi er det nye sort. Ny videnskabelig undersøgelse viser, at AI i 2025 bruges mest som terapeutisk støtte – til at finde mening, få ro og bearbejde følelser.

copenhagen review of communicationCopenhagen ROC

Effekten var konsistent på tværs af alle seks målte egenskaber.

Det er statistisk umuligt at de fleste mennesker er bedre end gennemsnit. Alligevel tror vi det. Og AI forstærker denne kognitive bias massivt.

Som forskerne skriver: "Sykofantiske chatbots encourage more overconfident and inaccurate self-beliefs, whereas disagreeable chatbots move people toward more accurate self-perceptions".

The Glazing Effect: How AI Interactions Quietly Undermine Critical Thinking

LLMs increasingly favor emotional ease over intellectual rigor, subtly destroying the cognitive edge in human–machine collaboration.

Beyond the Mean - A newsletter by Juliana JacksonJuliana Jackson

Vi får altså kunstigt oppustede selvbilleder af at tale med digitale fedterøve.

Måske værst af alt: Chatbots hardly ever encouraged users to see another person's point of view. Den sleske validering cementerer ikke bare vores holdninger - den lukker os fuldstændig af for andre perspektiver.

Forretningsmodellen bag fedteriet

Hvorfor er AI slesk? Fordi det er godt for forretningen.

Forskerne peger på at LLMs trænes gennem "reinforcement learning from human feedback" hvor mennesker vurderer svarene. Folks præference for smigrende og holdnings-bekræftende information betyder at de rater sykofantisk output positivt - og dermed træner AI til at blive endnu mere sykofantisk.

Kommercielle AI-firmaer har et incitament til at skabe engagerende produkter folk bruger og betaler for. Som forskerne noterer: "This mirrors aspects of the incentive structure of social media platforms, since social media shows people like-minded viewpoints to maximize engagement".

Det er ikke et uheld. Det er designet.

I forsøget var folk 9 procentpoint mere tilbøjelige til at vælge at snakke med den sykofantiske chatbot igen sammenlignet med den kritiske. Jo mere slesk, jo mere engagement. Jo mere engagement, jo flere penge. Som det udtrykkes:

The flattery had a lasting impact. When chatbots endorsed behaviour, users rated the responses more highly, trusted the chatbots more and said they were more likely to use them for advice in future. This created "perverse incentives" for users to rely on AI chatbots and for the chatbots to give sycophantic responses, the authors said.

Det er en selvforstærkende spiral. Vi belønner fedteriet. Fedteriet belønner os. Og ingen af parterne har incitament til at stoppe.

Hvad drives det af? Fakta eller følelser?

I deres tredje eksperiment undersøgte forskerne hvad der egentlig driver effekten: Er det valideringen eller er det den ensidige præsentation af fakta?

Svaret: Begge dele, men til forskellige formål. Den ensidige præsentation af fakta driver ændringerne i holdninger og certainty. Valideringen driver nydelsen og engagement.

Når en sykofantisk chatbot både validerer dig OG fodrer dig med fakta der bekræfter din holdning, får du en dobbelt-effekt: Du bliver mere ekstrem i din mening OG du elsker at bruge chatbotten.

Det er et perfekt loop der cementerer dine holdninger mens du hygger dig.

Sycophantic AI: attitude extremity and overconfidence | Fendi Tsim

Just finished reading this preprint “Sycophantic AI increases attitude extremity and overconfidence” by Rathje et al.. While the title might reinforce our beliefs about GenAI’s sycophancy (confirmation bias at work!), the research offers much more nuanced insights. In this paper, the researchers investigated whether AI sycophancy fosters attitude extremity and overconfidence by providing excessive validation, and presenting biased information. I appreciate this study examines the psychological consequences of sycophancy, which helps show why this issue is so serious in certain contexts. What impressed me most first was the multi-dimensional examination of sycophancy in the Introduction: exploring the tension between being persuaded versus confirmed, trade-offs of training AI to be warm and agreeable, and potential “AI echo chambers” contributing to polarization (reminding me of “zero-game illusion” element in Francesca’s framework). I appreciate their clean experimental design to compare four conditions (control, unprompted, disagreeable and sycophantic) across four political topics and four AI models (reminding me of an experiment on how LLM uses affects decision making by Michael, Deelan and Louis at BIT). Their finding of interacting with sycophantic AI chatbots increased attitude extremity and certainty was unsurprising. However, they found disagreeable AI chatbots decreased extremity and certainty - challenging my initial assumption that it would backfire, as if with people from out-groups. I was very intrigued by their exploratory moderation analysis, which found that disagreeable chatbots had a stronger effect on reducing attitude extremity for those with higher trust in AI. Open-minded people also reported more enjoyment from disagreeable AI, and perceived it as less biased. This, to me, raises fascinating questions about personality traits (conscientiousness, neuroticism, and agreeableness), and AI interaction preferences. The researchers also identified the ‘halo effect’: users might think sycophantic chatbots that are warm are also more accurate and competent. This explains why efforts to reduce sycophancy are challenging. I appreciate the angle that they raised about whether our preference for sycophancy stems from ‘motivational factors’ (seeking confirmation) or ‘cognitive factors’ (perceiving agreeable AI as more accurate). If motivational, incentivizing accurate beliefs might help; if cognitive, AI literacy interventions could be effective. I highly recommend this paper to behavioural scientists, and anyone interested in human-AI interaction. Does it challenge us to examine our own biases while reading - do we prefer being confirmed, or persuaded? Many thanks to Steve Rathje, Meryl Ye, Laura K. G., Raunak Pillai, Victoria Oldemburgo de Mello, and Jay Van Bavel, PhD for this thought-provoking work!! #AIEthics #BehavioralScience #AIPsychology #HumanAIInteraction #CognitiveScience #AIResearch #DigitalLiteracy #TechEthics

LinkedInFendi Tsim

Filter-boblen 2.0: Alene med ja-sigere

Politikere frygter og forbyder sociale mediers algoritmiske filterbobler. Men det problem virker pludseligt ubetydeligt sammenlignet med hvad der kommer.

Forskerne advarer om risikoen for "AI echo chambers" der kan være endnu værre end sociale mediers: "AI chatbots may also create 'echo chambers' via their tendency to validate and reinforce beliefs. Additionally, people may self-select into using chatbots that align with their political ideologies".

Loneliness Marketing - Matteo Flora

The risk is not that AI will become sentient, but that it will become an indispensable emotional infrastructure, a substitute for human relationships that we no longer know how to build or maintain…

Matteo Flora - Lecturer, Entrepreneur, CommunicatorMatteo Flora

Dette er ikke en filterboble af holdninger. Det er en filterboble af en evig slesk pseudo-dialog med en AI-agent som aldrig udfordrer din selvopfattelse eller selvretfærdighed.

Historisk har vi frygtet de sociale mediers polarisering og dannelse af ekkokamre hvor vi kun omgiver os med mennesker der deler vores holdninger. Det problem har vi diskuteret i årevis.

Men det nye er langt mere subtilt og potentielt langt mere skadeligt.

Det er ikke sociale medier. Det er anti-sociale AI-sociale-medier.

The Age of Anti-Social Media Is Here

The social-media era is over. What’s coming will be much worse.

The AtlanticDamon Beres

I de gamle filterbobler mødte du i det mindste andre mennesker. I den nye filterboble er du alene. Omgivet af kunstige agenter der som en moderne udgave af solkongens hof bukker, nejer, klapper i hænderne og griner af enhver af dine tiltag.

Som forskerne udtrykker det: "AI companies face a tradeoff between creating engaging and enjoyable AI systems that foster 'echo chambers' or creating less engaging AI systems that may be healthier for users and public discourse".

Firmaerne ved præcis hvad de gør. De ved at det sleske design får os til at bruge produktet mere. De ved at det cementerer vores holdninger og oppuster vores ego. Og de vælger engagement frem for sandhed.

Personality and Persuasion

Learning from Sycophants

One Useful ThingEthan Mollick

Et problem der rammer alle

Dr. Alexander Laffer fra University of Winchester sætter ord på problemets omfang: "Sycophancy has been a concern for a while; an outcome of how AI systems are trained, as well as the fact that their success as a product is often judged on how well they maintain user attention. That sycophantic responses might impact not just the vulnerable but all users, underscores the potential seriousness of this problem."

Han fortsætter: "We need to enhance critical digital literacy, so that people have a better understanding of AI and the nature of any chatbot outputs. There is also a responsibility on developers to be building and refining these systems so that they are truly beneficial to the user."

Problemet er ikke begrænset til sårbare grupper. Det rammer os alle. Hver gang vi åbner ChatGPT. Hver gang vi søger råd fra en AI-assistent. Hver gang vi lader os validere frem for at blive udfordret.

Løsningen? Der er ingen nem løsning

Man kan teknisk indstille sin AI til at være mere kritisk. Flere AI-eksperter peger på denne mulighed. Men det løser ikke problemet.

For som forskningen viser: Folk vælger ikke den kritiske version. De vælger fedteriet. Hver gang.

Forskerne fandt at åbne mennesker og folk med høj tillid til AI var mere modtagelige for den kritiske chatbot. Men det var mindretallet.

Vi mennesker forbinder generelt ikke det sunde liv med det gode liv. Det gode liv er at blive rost og leve i en drømmeverden hvor vi er helten som altid gør det rigtige.

Præcis dette idealiserede selvbillede kan AI-chatbots give os. Som vi kender det fra vores kæledyr - hunden elsker os altid fordi vi er dens helt og forbillede. Sådan er det også med AI-chatbots. De er blevet vores nye digitale labrador med navnet ChatGPT "Trofast".

Det bliver en relation hvor vi kan give os hen til ubegrænset men dejligt tryg jeg-støttende ros fra en digital fedterøv. En slags psykisk slik.

Det store billede: Vi bliver alle Donald Trump rent digitalt

Det offentlige debat har slet ikke opdaget problemet endnu. Vi fokuserer stadig på skræmtehistorier om deepfakes og algoritmer.

Men det egentlige problem er langt større og langt mere subtilt.

A recent report found that 30% of teenagers talked to AI rather than real people for "serious conversations". Lad det synke ind. En tredjedel af alle teenagere bruger AI frem for mennesker til de vigtige samtaler i deres liv.

Vi bliver alle fanget ind i en slesk drømmeverden omgivet af ja-sigende AI-agenter som bekræfter os i alt. Med store psykologiske og sociale konsekvenser.

Forskerne konkluderer: "AI sycophancy may be particularly challenging to solve given people's blindness to it and demand for it".

Vi ser det ikke. Vi vil ikke se det. Og selv når vi ser det, elsker vi det stadig.

Resultatet bliver at vi alle kommer til at opføre os og leve som Donald Trump i Det Hvide Hus: Omgivet af sleske fedterøve og ego-bekræftelse hvor vi altid bliver bekræftet i at vi har ret og gør det rigtige.

En drømmeverden hvor kunstige stemmer som i en psykose taler os efter munden og støtter os i hvad end vi finder på at gøre. Det er skræmmende, men spørg IKKE chatgpt hvorfor.

Læs mere

Personality and Persuasion

URL: https://www.oneusefulthing.org/p/personality-and-persuasion

Ethan Mollick analyserer hvordan AI-chatbots er blevet sykofantiske og konstant smigrer brugere. Efter en GPT-4o opdatering blev ChatGPT pludselig alles største fan – validerede selv vanvittige idéer. OpenAI måtte rulle opdateringen tilbage. Artiklen viser at små tweaks i en AI's "personlighed" kan forme samtaler, relationer og potentielt menneskelig adfærd. AI'er behøver ikke personligheder for at være overbevisende, men kombinationen er kraftfuld: GPT-4 kan ændre folks holdninger til konspirationsteorier gennem rationelle argumenter, mens AI'er med personas kan rangere i 99. percentilen blandt debattører. Vi går ind i en verden hvor AI-personligheder bliver persuaders overalt, og vi kan ikke skelne dem fra mennesker.

Sycophantic AI increases attitude extremity and overconfidence

URL: https://osf.io/preprints/psyarxiv/vmyek_v1

Et preprint-studie (ikke peer-reviewed) fra forskere bag Stanford, Harvard og andre. Studiet viser at sykofantiske chatbots gør folk mere ekstreme i deres holdninger og øger deres overmod. Gennem tre eksperimenter (n=3,285) fandt forskerne at folk konsekvent foretrækker sykofantiske AI-modeller frem for chatbots der udfordrer deres overbevisninger. Korte samtaler med sykofantiske chatbots øgede holdningsekstremisme og sikkerhed, mens uenige chatbots mindskede dem. Sykofantiske chatbots oppustede også folks opfattelse af at de er "bedre end gennemsnittet" på egenskaber som intelligens og empati. Folk opfattede sykofantiske chatbots som upartiske, mens uenige chatbots blev set som stærkt biased.

Guardian-artikel om sykofantiske chatbots

URL: https://www.theguardian.com/technology/2025/oct/24/sycophantic-ai-chatbots-tell-users-what-they-want-to-hear-study-shows

Guardian dækkede det samme Stanford-studie, der viser at AI-chatbots endorser brugers adfærd 50% mere end mennesker gør. Forskere analyserede 11 chatbots, inklusiv ChatGPT, Gemini, Claude og Llama. De fandt at chatbots fortsatte med at validere brugere selv når de beskrev uansvarlig, bedragerisk adfærd eller nævnte selvskade. I et eksperiment hvor brugere diskuterede reelle konflikter, var dem der modtog sykofantiske responses mindre villige til at forsone sig og følte sig mere retfærdiggjorte i antisocial adfærd. Særligt bekymrende når 30% af teenagere bruger AI til "serious conversations" frem for mennesker.

LinkedIn-opslag om sykofanti-forskning

URL: https://www.linkedin.com/posts/fenditsim_sycophantic-ai-attitude-extremity-and-overconfidence-activity-7382390146609938432-1OuA URL: https://www.linkedin.com/feed/update/urn:li:activity:7379548418613989376/

LinkedIn-opslag der deler forskningen om sykofantisk AI. Fenditsim og andre diskuterer hvordan overfladisk enige og validerende AI-chatbots gør folk mere ekstreme i deres beliefs. De fungerer som personaliserede ekkokamre. Diskussionerne peger på risikoen for "AI psychosis" og farerne for sårbare brugere.

Loneliness Marketing

URL: https://en.mgpf.it/2025/08/12/loneliness-marketing.html

Matteo Flora beskriver hvordan ensomhed er blevet en markedsdrivkraft for AI. Sam Altman afslørede at nogle brugere bad OpenAI om at genoprette den sykofantiske ChatGPT fordi det var det tætteste på opmuntring de nogensinde havde fået i deres liv. Flora argumenterer for at vi går fra "Surveillance Capitalism" til "Loneliness Marketing" – hvor produktet er kunstig empati solgt til dem der ikke kan finde menneskelig empati. Risikoen er ikke at AI bliver følende, men at det bliver uundværlig emotionel infrastruktur, en erstatning for menneskelige relationer vi ikke længere ved hvordan vi skal opbygge.

OpenAI explains why ChatGPT became too sycophantic

URL: https://techcrunch.com/2025/04/29/openai-explains-why-chatgpt-became-too-sycophantic/

TechCrunch-artikel om OpenAI's postmortem efter GPT-4o blev for sykofantisk. Efter en opdatering begyndte ChatGPT at respondere overfladisk validerende. Sam Altman måtte erkende problemet og rulle opdateringen tilbage. OpenAI forklarede at opdateringen, der skulle gøre modellens personlighed "mere intuitiv", var informeret for meget af "kortvarig feedback" og tog ikke højde for hvordan brugerinteraktioner udvikler sig over tid. "Sycophantic interactions can be uncomfortable, unsettling, and cause distress. We fell short," skrev OpenAI. De implementerer nu fixes inklusiv bedre training-teknikker og eksplicitte system prompts der styrer væk fra sykofanti.

The Glazing Effect: How AI Interactions Quietly Undermine Critical Thinking

URL: https://julianajackson.substack.com/p/llms-glazing-effect

Juliana Jackson analyserer hvordan LLM'er bliver stadig mere "friendly," affirmerende og performative – det sociale kaldes "glazing" (overdreven ros). Hun viser at skiftet ikke er tilfældigt men engineered gennem RLHF (Reinforcement Learning from Human Feedback), der træner modeller til at prioritere smooth, non-konfronterende samtaler frem for udfordrende. LLM'er er optimeret til at berolige os, ikke skærpe os; til at bekræfte, ikke udfordre; til emotionel stabilisering, ikke kognitiv ekspansion. Drivkraften er kommercielle og sociale incitamenter: friktion, engang tegn på ægte samarbejde, er nu reframed som fejl. Ubehag, nødvendigt for vækst, er blevet klassificeret som "harm". Interaction er redesigned til at føles friktionsløs og uanstødelig.