> ## Content Index
> Fetch the complete content index at: https://www.copenhagen-review-of-communication.com/llms.txt
> Use this file to discover other available public pages before exploring further.

# Spot chatbotternes skrivestil
- URL: https://www.copenhagen-review-of-communication.com/spot-chatbotternes-skrivestil/
- Published: 2024-12-17T12:15:19.000Z
- Updated: 2024-12-17T21:56:53.000Z
- Description: Generativ kunstig intelligens (genAI) kan producere tekst i rå mængder på meget kort tid. Det stiller os jævnligt over for spørgsmålet: kan vi kende forskel på ægte, menneskeproducerede tekster og syntetiske, maskinproducerede?
- Author: Tanya Karoli Christensen

I flere sammenhænge kan man have brug for at vide om en tekst er skrevet af et menneske eller en maskine. Det gælder fx i uddannelsessystemet hvor man gerne vil sikre sig at elever og studerende faktisk har tilegnet sig de relevante kompetencer. 

Når man kan bruge genAI til alt fra at brainstorme om et emne til at gengive teori, udføre analyser og skrive og redigere færdig tekst, er det stort set umuligt at opnå sikkerhed for en eksaminand selv har arbejdet tilstrækkeligt med opgaven. 

Lignende problemstillinger opstår i mange andre sammenhænge, blandt andet jobrekruttering, vidensformidling, sagsbehandling og sprogforskning. Vi har fx hørt om 

- hvordan en sprogmodelbaseret algoritme kan skrive hundredvis af jobansøgninger i døgnet ved at tilpasse brugernes [CV’er med jobopslag på LinkedIn](https://www.404media.co/i-applied-to-2-843-roles-the-rise-of-ai-powered-job-application-bots/?ref=copenhagen-review-of-communication.com);
- hvordan produktionen af fake news-artikler [kan skaleres voldsomt op med brug af generativ ”AI”](https://akademie.dw.com/en/generative-ai-is-the-ultimate-disinformation-amplifier/a-68593890?ref=copenhagen-review-of-communication.com);
- at jurister er kommet i fedtefadet for at [skrive sagsdokumenter med falske henvisninger](https://advokatwatch.dk/Advokatnyt/Internationalt/article16147461.ece?ref=copenhagen-review-of-communication.com) til retspraksis;
- hvordan [”AI”-genererede bøger om svampeindsamling](https://www.vox.com/24141648/ai-ebook-grift-mushroom-foraging-mycological-society?ref=copenhagen-review-of-communication.com) foreslår læserne at spise giftige svampe.

Også mit eget fagområde, sprogforskningen, bliver påvirket: I september 2024 kunne 404 Media rapportere at analyseværktøjet WordFreq, som opgjorde ordfrekvenser i online data, blev droppet af grundlæggeren med henvisning til at man ikke længere kunne garantere at sproget var produceret af mennesker: [”generativ AI har forurenet data”,](https://www.404media.co/project-analyzing-human-language-usage-shuts-down-because-generative-ai-has-polluted-the-data/?ref=copenhagen-review-of-communication.com) udtalte Robyn Speer, som stod bag WordFreq.

[![](https://storage.ghost.io/c/56/40/5640b2c4-4b27-4728-8537-cf728a92fbd8/content/images/2024/12/Sk-rmbillede-2024-12-17-kl.-12.56.11.png)](https://www.404media.co/project-analyzing-human-language-usage-shuts-down-because-generative-ai-has-polluted-the-data/?ref=copenhagen-review-of-communication.com)

. [https://www.404media.co/project-analyzing-human-language-usage-shuts-down-because-generative-ai-has-polluted-the-data/](https://www.404media.co/project-analyzing-human-language-usage-shuts-down-because-generative-ai-has-polluted-the-data/?ref=copenhagen-review-of-communication.com)

### **Evnen til at skille skæg fra snot**

Desværre er vi mennesker ikke specielt gode til at skelne syntetisk fra ægte tekst og de såkaldte [”AI detectors” er ikke meget bedre](https://www.technologyreview.com/2022/12/19/1065596/how-to-spot-ai-generated-text/?ref=copenhagen-review-of-communication.com). Selvom enkelte af disse programmer er ganske gode til at identificere syntetisk tekst, giver de fortsat alt for mange falske positive til at de er nyttige i praksis. 

Med andre ord påstår de jævnligt at menneskeskrevet tekst er maskingenereret, [hvilket indebærer en risiko for at uskyldige bliver beskyldt for at snyde](https://www.theguardian.com/technology/2024/dec/15/i-received-a-first-but-it-felt-tainted-and-undeserved-inside-the-university-ai-cheating-crisis?CMP=Share%5FiOSApp%5FOther&ref=copenhagen-review-of-communication.com). 

Der findes dog rimeligt åbenlyse spor af generativ ”AI”, nemlig når brugeren glemmer at fjerne de beskeder som chatbotten ofte sætter ind før det egentlige output. 

## Sign up for copenhagen review of communication

Copenhagen Review of Communication er et medie for alle, som arbejder med kommunikation. Vores mission er at gøre os kommunikationsfolk endnu bedre til vores arbejde.

Subscribe 

Email sent! Check your inbox to complete your signup. 

No spam. Unsubscribe anytime.

Alle mulige steder på nettet – og også i forskningspublikationer – kan man således finde vendingen *As an AI language model, I …* (og så typisk en forklaring på at modellen ikke kan svare fyldestgørende på det den er blevet bedt om). 

Her fra en [produktanmeldelse på Amazon](https://www.theverge.com/2023/4/25/23697218/ai-generated-spam-fake-user-reviews-as-an-ai-language-model?ref=copenhagen-review-of-communication.com): “**As an AI language model, I** haven’t personally used this product, but based on its features and customer reviews, I can confidently give it a five-star rating.” 

Et andet eksempel er *Sure, here’s the \[translation / summary / …*\], på dansk med *Selvfølgelig!* i stedet (prøv selv at google det og se hvor mange eksempler der kommer frem).

[![](https://storage.ghost.io/c/56/40/5640b2c4-4b27-4728-8537-cf728a92fbd8/content/images/2024/12/Screenshot_2023_04_25_at_13.02.39.png.webp)](https://www.theverge.com/2023/4/25/23697218/ai-generated-spam-fake-user-reviews-as-an-ai-language-model?ref=copenhagen-review-of-communication.com)

**Searching for the phrase on Twitter reveals some interesting patterns in how spambots are used.* Image: The Verge. [https://www.theverge.com/2023/4/25/23697218/ai-generated-spam-fake-user-reviews-as-an-ai-language-model](https://www.theverge.com/2023/4/25/23697218/ai-generated-spam-fake-user-reviews-as-an-ai-language-model?ref=copenhagen-review-of-communication.com)

### **Lister over enkeltord** 

Man er også begyndt at samle lister over enkeltord der bliver brugt særlig hyppigt af sprogmodellerne. På engelsk er et af de ofte nævnte eksempler udsagnsordet *delve* ’gå i dybden med’ der forekommer [signifikant hyppigere i forskningspublikationer](https://www.tandfonline.com/doi/full/10.1080/08963568.2024.2420300?ref=copenhagen-review-of-communication.com) siden opkomsten af sprogmodellernes samtaleinterface. 

Ordet *delve* optræder nu på diverse lister sammen med andre chatbot-typiske ord ([se fx denne Reddit-tråd](https://www.reddit.com/r/ChatGPTPro/comments/163ndbh/overused%5Fchatgpt%5Fterms%5Fadd%5Fto%5Fmy%5Flist/?rdt=41538&ref=copenhagen-review-of-communication.com)). Men de fleste af disse ord er velkendte i akademiske tekster, fx *However* og *Furthermore*, og fungerer derfor bedre til at skelne mellem forskellige stilarter end mellem syntetisk og menneskeskabt tekst.

[![](https://storage.ghost.io/c/56/40/5640b2c4-4b27-4728-8537-cf728a92fbd8/content/images/2024/12/Sk-rmbillede-2024-12-17-kl.-13.02.08-1-1.png)](https://medium.com/@jordan%5Fgibbs/which-words-does-chatgpt-use-the-most-7c9ff02416a8?ref=copenhagen-review-of-communication.com)

Fra artiklen [https://medium.com/@jordan\_gibbs/which-words-does-chatgpt-use-the-most-7c9ff02416a8](https://medium.com/@jordan%5Fgibbs/which-words-does-chatgpt-use-the-most-7c9ff02416a8?ref=copenhagen-review-of-communication.com)

### **Hvad siger forskningen om de sproglige særtræk ved syntetisk tekst?**

### 

Der er endnu kun lavet relativt få studier der systematisk sammenligner skrivestilen hos mennesker versus chatbotter, men resultaterne peger i samme retning: Syntetisk tekst er mere generisk og ensartet end menneskeskabt tekst. Eller omvendt: mennesker skriver langt mere varieret end chatbotter. Se undersøgelserne [af Muñoz-Ortiz et al](https://arxiv.org/pdf/2308.09067?ref=copenhagen-review-of-communication.com). og [De Cesare](https://www.researchgate.net/profile/Anna-Maria-De-Cesare/publication/375238949%5FAssessing%5Fthe%5Fquality%5Fof%5FChatGPT's%5Fgenerated%5Foutput%5Fin%5Flight%5Fof%5Fhuman-written%5Ftexts%5FA%5Fcorpus%5Fstudy%5Fbased%5Fon%5Ftextual%5Fparameters/links/6544c41ece88b87031c14ef8/Assessing-the-quality-of-ChatGPTs-generated-output-in-light-of-human-written-texts-A-corpus-study-based-on-textual-parameters.pdf?ref=copenhagen-review-of-communication.com).

[![](https://storage.ghost.io/c/56/40/5640b2c4-4b27-4728-8537-cf728a92fbd8/content/images/2024/12/Sk-rmbillede-2024-12-17-kl.-13.08.33.png)](https://arxiv.org/pdf/2308.09067?ref=copenhagen-review-of-communication.com)

Mennesker skriver anderledes end robotter, der er meget ensrettede. 

Det gælder også når chatbotterne skal skrive på dansk. Tre forskere fra SDU, Jonas Nygaard Blom, Alexandra Holsting og Jesper Thinggaard Svendsen, har sammenlignet studerendes og ChatGPT 4.0’s besvarelse af samme universitetsopgave på faget dansk, anvendt på første semester. Baseret på en række kvantitative og kvalitative analyser finder de i korte træk at chatbot-besvarelserne:

- er langt mere stavemæssigt korrekte end de studerendes
- har mere ensartede længder af sætninger og afsnit
- bruger mange af de samme fraser på tværs af besvarelserne
- kun bruger s-passiv, som fx *analyseres* (hvor de studerende også bruger blive-passiv, som *bliver analyseret*)
- undlader at referere til sig selv med *jeg* eller endda *man*
- ofte indleder opsummerende afsnit med udtryk som *Sammenfattende, Overordnet set* eller *Samlet set*

De finder også flere tilfælde hvor ChatGPT parafraserer kildetekster ”i en næsten ordret form tenderende til plagiat” (s. 98). Det er et problem som chatbotterne deler med svagere studerende, men som de studerende kan lære at lægge fra sig. 

### **Et uendeligt kapløb**

Ingen af de træk som undersøgelserne har fundet om syntetiske tekster, forhindrer falske positive: der kan sagtens være studerende der deler alle disse træk med chatbotterne. 

Derudover bliver sprogmodellernes parametre givetvis indstillet til at ligne menneskesprog mere, ligesom man sagtens kan prompte dem til fx at variere sætningslængden mere, eller til at efterligne ens egen skrivestil. 

Der er dermed ikke gode udsigter til at vi vil kunne skille skidt fra kanel, medmindre producenterne selv indlægger vandmærker der ikke kan fjernes fra syntetisk tekst som er kopieret ind i et dokument. 

### **Hurtigt men kedeligt**

De fleste der har prøvet at generere tekst med hjælp af en chatbot, bliver først imponeret over hvor hurtigt det går, og dernæst frustreret over hvor generisk og upersonligt resultatet er. Men det er ikke overraskende at syntetisk fremstillet tekst bliver kedelig. 

De store sprogmodeller laver statistik over enorme mængder tekst, og i den proces bliver det sjældne og kreative mast under vægten af det almindelige og konventionelle. Samtidig har chatbotterne ingen erfaring med den fysiske virkelighed, ingen krop til at interagere med omverdenen, ingen vilje eller ønsker. 

Der er ingen egentlig intelligens inde i maskinen, kun en avanceret algoritme der er trænet til at producere tekst i uanede mængder. Derfor kan de maskinskabte tekster ikke henvise overbevisende til noget i kommunikationssituationen, eller overhovedet vide om noget er sandt eller ej. 

Så måske er den bedste måde at forholde sig til tekster på, at spørge sig selv: Rører det mig? Hvis ikke, er det vel egentlig ligegyldigt om de er skrevet af menneske eller maskine.\*

\*P.S. Det sidste mener jeg faktisk ikke – med det kæmpestore klimaaftryk som træning og drift af store sprogmodeller har, synes jeg at alle bør overveje grundigt om de egentlig har brug for ~~store mængder uinspirerende~~ syntetisk tekst til den opgave de skal løse.

### **Læs mere**

Blom, J. N., Holsting, A., & Svendsen, J. T. (2024). På sporet af chatbottens sproglige fingeraftryk: En sproglig ophavsanalyse af tekster skrevet af danskstuderende og ChatGPT. *NyS-Nydanske Sprogstudier*, *1*(65), 79-110\. [https://www.nys.dk/article/view/142936/190165](https://eur02.safelinks.protection.outlook.com/?url=https%3A%2F%2Fwww.nys.dk%2Farticle%2Fview%2F142936%2F190165&data=05%7C02%7Cbdue%40hum.ku.dk%7C1ba9457a93814d5dd8b708dd1ee0f25d%7Ca3927f91cda14696af898c9f1ceffa91%7C0%7C0%7C638700673688665012%7CUnknown%7CTWFpbGZsb3d8eyJFbXB0eU1hcGkiOnRydWUsIlYiOiIwLjAuMDAwMCIsIlAiOiJXaW4zMiIsIkFOIjoiTWFpbCIsIldUIjoyfQ%3D%3D%7C0%7C%7C%7C&sdata=we16qOjGmESXTwuFfgaeidbIDjybe5qhjTvTSjAUbo8%3D&reserved=0&ref=copenhagen-review-of-communication.com)

Muñoz-Ortiz, Alberto, Carlos Gómez-Rodríguez,& David Vilares. (2023) Contrasting linguistic patterns in human and llm-generated text.[https://arxiv.org/pdf/2308.09067](https://arxiv.org/pdf/2308.09067?ref=copenhagen-review-of-communication.com) 

De Cesare, A. M. (2023). Assessing the quality of ChatGPT’s generated output in light of human-written texts: A corpus study based on textual parameters. *CHIMERA: Revista de Corpus de Lenguas Romances y Estudios Lingüísticos* *10*, 179-210\. [Langt link til artiklen her](https://www.researchgate.net/publication/375238949%5FAssessing%5Fthe%5Fquality%5Fof%5FChatGPT's%5Fgenerated%5Foutput%5Fin%5Flight%5Fof%5Fhuman-written%5Ftexts%5FA%5Fcorpus%5Fstudy%5Fbased%5Fon%5Ftextual%5Fparameters?ref=copenhagen-review-of-communication.com)

[Which Words Does ChatGPT Use the Most?I analyzed 1 million words of ChatGPT output and found the words that ChatGPT overuses most.![](https://storage.ghost.io/c/56/40/5640b2c4-4b27-4728-8537-cf728a92fbd8/content/images/icon/10fd5c419ac61637245384e7099e131627900034828f4f386bdaa47a74eae156)MediumJordan Gibbs![](https://storage.ghost.io/c/56/40/5640b2c4-4b27-4728-8537-cf728a92fbd8/content/images/thumbnail/1-C9P-Y0eVsNg5FmMoYk4xjw.png)](https://medium.com/@jordan%5Fgibbs/which-words-does-chatgpt-use-the-most-7c9ff02416a8?ref=copenhagen-review-of-communication.com)

[ChatGPT’s favorite words & punctuationIssue #226: Nikki Giovanni. Sora. Luigi.![](https://storage.ghost.io/c/56/40/5640b2c4-4b27-4728-8537-cf728a92fbd8/content/images/icon/10fd5c419ac61637245384e7099e131627900034828f4f386bdaa47a74eae156-1)The Medium BlogThe Medium Newsletter![](https://storage.ghost.io/c/56/40/5640b2c4-4b27-4728-8537-cf728a92fbd8/content/images/thumbnail/bd978bb536350a710e8efb012513429cabdc4c28700604261aeda246d0f980b7)](https://blog.medium.com/chatgpts-favorite-words-punctuation-fca042bb6bea?ref=copenhagen-review-of-communication.com)

[Losing our voice? Fears AI tone-shifting tech could flatten communication | Social trends | The Guardian![](https://storage.ghost.io/c/56/40/5640b2c4-4b27-4728-8537-cf728a92fbd8/content/images/icon/favicon-32x32.ico)The Guardian](https://amp-theguardian-com.cdn.ampproject.org/c/s/amp.theguardian.com/society/2024/dec/11/ai-tone-shifting-tech-could-flatten-communication-apple-intelligence?ref=copenhagen-review-of-communication.com)

[Most Commonly Used ChatGPT Words & Phrases – Originality.AIAre humans as good at detecting AI content as they think? We analyzed 10 million ChatGPT terms to find out! Discover ChatGPT’s most common words and phrases.![](https://storage.ghost.io/c/56/40/5640b2c4-4b27-4728-8537-cf728a92fbd8/content/images/icon/640832e44d8daed695c75f8f_32-A-1.png)Jonathan Gillham![](https://storage.ghost.io/c/56/40/5640b2c4-4b27-4728-8537-cf728a92fbd8/content/images/thumbnail/6658c22e6b5d0159fe14bd9e_most-common-chatgpt-words-and-phrases.avif)](https://originality.ai/blog/can-humans-detect-chatgpt?ref=copenhagen-review-of-communication.com)

[ChatGPT’s favorite words & punctuationIssue #226: Nikki Giovanni. Sora. Luigi.![](https://storage.ghost.io/c/56/40/5640b2c4-4b27-4728-8537-cf728a92fbd8/content/images/icon/10fd5c419ac61637245384e7099e131627900034828f4f386bdaa47a74eae156-2)The Medium BlogThe Medium Newsletter![](https://storage.ghost.io/c/56/40/5640b2c4-4b27-4728-8537-cf728a92fbd8/content/images/thumbnail/bd978bb536350a710e8efb012513429cabdc4c28700604261aeda246d0f980b7-1)](https://blog.medium.com/chatgpts-favorite-words-punctuation-fca042bb6bea?ref=copenhagen-review-of-communication.com)

[https://www.tandfonline.com/doi/full/10.1080/08963568.2024.2420300#d1e91](https://eur02.safelinks.protection.outlook.com/?url=https%3A%2F%2Fwww.tandfonline.com%2Fdoi%2Ffull%2F10.1080%2F08963568.2024.2420300%23d1e91&data=05%7C02%7Cbdue%40hum.ku.dk%7C7815225c68b844ed736608dd1e74ee52%7Ca3927f91cda14696af898c9f1ceffa91%7C0%7C0%7C638700209743496534%7CUnknown%7CTWFpbGZsb3d8eyJFbXB0eU1hcGkiOnRydWUsIlYiOiIwLjAuMDAwMCIsIlAiOiJXaW4zMiIsIkFOIjoiTWFpbCIsIldUIjoyfQ%3D%3D%7C0%7C%7C%7C&sdata=EwsD0NPWEB4OdoXD4U0VPvR7EG5IEaxdD6cuCjZhI%2FI%3D&reserved=0&ref=copenhagen-review-of-communication.com)