AI Imitating Individuals: Deepfakes and the Unexpected in Digital Communication
Authors
Nina KalwaAbstract
This paper considers language-generating artificial intelligence as a form of human imitation. Focusing on deepfakes that imitate individuals’ appearance and language, the paper examines how supposed deepfakes featuring prominent individuals are discussed on social media and how discourse around deepfakes has evolved alongside growing awareness of their existence. Furthermore, the paper discusses the social implications of these developments. Three case studies were selected in which deepfakes were posted and discussed on social media. By examining the comments on the videos using detailed text analysis, the paper demonstrates how identifying something unexpected can lead to videos and audio clips posted on social media being judged as fake. The paper discusses why this can be considered dangerous for society.
References
Ackermann, Judith & Dewitz, Leyla. 2020. Kreative Bearbeitung politischer Information auf TikTok: eine multimethodische Untersuchung am Beispiel des Hashtags #ww3. MedienPädagogik: Zeitschrift für Theorie Und Praxis Der Medienbildung, Medienbildung 38. 69–93.
https://doi.org/10.21240/mpaed/38/2020.11.16.X DOI: https://doi.org/10.21240/mpaed/38/2020.11.16.X
Altuncu, Enes & Franqueira, Virginia N. L. & Li, Shujun. 2024. Deepfake: definitions, performance metrics and standards, datasets, and a meta-review. Front. Big Data 7. 1–23. https://doi.org/10.3389/fdata.2024.1400024 DOI: https://doi.org/10.3389/fdata.2024.1400024
Bode, Lisa & Lees, Dominic & Golding, Dan. 2021. The digital face and deepfakes on screen. Convergence: The International Journal of Research into New Media Technologies 27(4). 849–854. https://doi.org/10.1177/13548565211034044. DOI: https://doi.org/10.1177/13548565211034044
Bovenschulte, Marc. 2019. Deepfakes – Manipulation von Filmsequenzen. Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag (TAB), Themenkurzprofil 25, 1–5. https://doi.org/10.5445/IR/1000133910
Chesney, Robert & Citron, Danielle K. 2019. Deep Fakes: a looming challenge for privacy, democracy, and national security. California Law Review 107(6). 1753–1820. DOI: https://doi.org/10.2139/ssrn.3213954
Clark, Herbert H. & Fischer, Kerstin. 2023. Social robots as depictions of social agents. Behavioral and Brain Sciences 46. 1–33. DOI: https://doi.org/10.1017/S0140525X22002825
https://doi.org/10.1017/S0140525X22000668 DOI: https://doi.org/10.1017/S0140525X22000668
Deppermann, Arnulf. 2018. Wissen im Gespräch. In Birkner, Karin & Janich, Nina (eds), Handbuch Text und Gespräch, 104–142. Berlin, Boston: De Gruyter. DOI: https://doi.org/10.1515/9783110296051-005
Dickel, Sascha & Schmidt-Jüngst, Miriam. 2021. Gleiche Menschen, ungleiche Maschinen. Die Humandifferenzierung digitaler Assistenzsysteme und ihrer Nutzer:innen in der Werbung. In Dizdar, Dilek & Hirschauer, Stefan & Paulmann, Johannes & Schabacher, Gabriele (eds), Humandifferenzierung. Disziplinäre Perspektiven und empirische Sondierungen, 342–367. Weilerswist-Metternich: Velbrück Verlag. DOI: https://doi.org/10.5771/9783748911364-342
Fallis, Don. 2021. The epistemic threat of deepfakes. Philosophy & Technology 34. 623–643. https://doi.org/10.1007/s13347-020-00419-2 DOI: https://doi.org/10.1007/s13347-020-00419-2
Fenwick, Ali & Molnar, Gabor. 2022. The importance of humanizing AI: using a behavioral lens to bridge the gaps between humans and machines. Discover Artificial Intelligence 2, 14. https://doi.org/10.1007/s44163-022-00030-8. DOI: https://doi.org/10.1007/s44163-022-00030-8
Foucault, Michel. 1973. Ceci n’est pas une pipe: Sur Magritte. Montpellier: Fata Morgana.
Gardt, Andreas. 2017. Interpretation. In Betten, Anne & Fix, Ulla & Wanning, Berbeli (eds), Handbuch Sprache in der Literatur, 487–508. Berlin, Boston: De Gruyter. DOI: https://doi.org/10.1515/9783110297898-023
Gottschling, Markus. 2023. Imitationen: Zur Menschlichkeit des Erzählens mit Künstlicher Intelligenz. Preprint: https://rhet.ai/2023/12/06/imitationen-zur-menschlichkeit-des-erzaehlens-mit-kuenstlicher-intelligenz/.
Gottschling, Markus & Kramer, Olaf. 2025. Persuasive surfaces and calculating machines. A rhetorical perspective on Artificial Intelligence. Global Philosophy 35, 14–36. https://doi.org/10.1007/s10516-025-09748-3 DOI: https://doi.org/10.1007/s10516-025-09748-3
Hausendorf, Heiko. 2020. Geht es auch ohne Interaktion? Aptum 2(3). 86–89. DOI: https://doi.org/10.46771/978-3-96769-102-3_13
Henrickson, Leah. 2023. Chatting with the dead: the hermeneutics of thanabots. Media, Culture & Society 45(5). 949–966.
https://doi.org/10.1177/01634437221147626 DOI: https://doi.org/10.1177/01634437221147626
Kalwa, Nina. 2019. Die Konstitution von Konzepten in Diskursen: Zoom als Methode der diskurslinguistischen Bedeutungsanalyse. In Schiewe, Jürgen & Niehr, Thomas & Moraldo Sandro M. (eds), Sprach(kritik)kompetenz als Mittel demokratischer Willensbildung. Sprachliche In- und Exklusionsstrategien als gesellschaftliche Herausforderung, 11–26. Bremen: Hempen, Bremen.
Kalwa, Nina. 2025. “Noch steckt KI in den Kinderschuhen”. Die Analyse von Verzeitlichungspraktiken mittels qualitativer Korpuslinguistik. Zeitschrift für Literaturwissenschaft und Linguistik 55. 379–405.
https://doi.org/10.1007/s41244-025-00379-0 DOI: https://doi.org/10.1007/s41244-025-00379-0
Kalwa, Nina. 2026. Metakommunikation und AI Companionship. Vom Reden über Reden mit KI. Zeitschrift für Kulturlinguistik 1(1). 1–22. https://doi.org/10.5077/journals/zfkl.2026.e2369 DOI: https://doi.org/10.5077/journals/zfkl.2026.e2369
Kaminski, Nicola. 1998. Imitatio auctorum. In Ueding, Gerd (ed.), Historisches Wörterbuch der Rhetorik, 235–284. Berlin: De Gruyter.
Kietzmann, Jan & Lee, Lina W. & McCarthy, Ian P. & Kietzmann, Tim C. 2020. Deepfakes: trick or treat? Business Horizons 63. 135–146. https://ssrn.com/abstract=4471207 DOI: https://doi.org/10.1016/j.bushor.2019.11.006
Kikerpill, Kristjan. 2020. Choose your stars and studs: the rise of deepfake designer porn. Porn Studies 7(4). 352–356.
https://doi.org/10.1080/23268743.2020.1765851 DOI: https://doi.org/10.1080/23268743.2020.1765851
Klug, Nina-Maria. 2015. “Ich habe es doch mit eigenen Augen gesehen!”: Zur Eigentlichkeit bildlicher Zeichen. In Brinker-von der Heyde, Claudia & Kalwa Nina & Klug, Nina-Maria & Reszke, Paul (eds), Eigentlichkeit: Zum Verhältnis von Sprache, Sprechern und Welt, 501–522. Berlin, Boston: De Gruyter. DOI: https://doi.org/10.1515/9783110335477.501
Krämer, Sybille. 2021. Der Verlust des Vertrauens. Medienphilosophische Perspektiven auf Wahrheit und Zeugenschaft in digitalen Zeiten. In Schicha, Christian & Stapf, Ingrid & Sell, Saskia (eds), Medien und Wahrheit. Medienethische Perspektiven auf Desinformation, Lügen und „Fake News”, 25–42. Baden-Baden: Nomos. https://doi.org/10.5771/9783748923190 DOI: https://doi.org/10.5771/9783748923190-25
Labuz, Mateusz & Nehring, Christopher. 2024. On the way to deep fake democracy? Deep fakes in election campaigns in 2023. European Political Science. 23(4), 454–473. https://doi.org/10.1057/s41304-024-00482-9 DOI: https://doi.org/10.1057/s41304-024-00482-9
Monti, Paolo. 2024. AI Enters Public Discourse: a Habermasian assessment of the moral status of Large Language Models. Ethics and Politics 61(1). 61–80. https://philpapers.org/archive/MONAEP-2.pdf
Pawelec, Maria & Bieß, Cora 2021. Technikfolgen und Regulierungsfragen aus ethischer und sozialwissenschaftlicher Perspektive. Nomos 1. https://doi.org/10.5771/9783748928072 DOI: https://doi.org/10.5771/9783748928072-1
Peng, Hu & Yaobin, Lu & Yeming, Gong. 2021. Dual humanness and trust in conversational AI: A person-centered approach. Computers in Human Behavior 119. 1–18. https://doi.org/10.1016/j.chb.2021.106727 DOI: https://doi.org/10.1016/j.chb.2021.106727
Salles, Arleen & Evers, Kathinka & Farisco, Michele. 2020. Anthropomorphism in AI. AJOB Neuroscience 11(2). 88–95.
https://doi.org/10.1080/21507740.2020.1740350 DOI: https://doi.org/10.1080/21507740.2020.1740350
Schmitz, Ulrich. 2011. Sehflächenforschung: eine Einführung. In Diekmannshenke, Hajo & Klemm, Michael & Stöckel, Hartmut (eds), Bildlinguistik: Theorien - Methoden – Fallbeispiele, 23–42. Berlin: ESV.
Schulz-Schaeffer, Ingo. 2008. Deutung und Delegation. Handlungsträgerschaft von Technik als doppeltes Zuschreibungsphänomen. In Rehberg, Karl-Siegbert (eds), Die Natur der Gesellschaft. Verhandlungen des 33. Kongresses der Deutschen Gesellschaft für Soziologie in Kassel 2006, 3135–3144. Frankfurt a. M.: Campus.
Schwab, Klaus. 2016. The Fourth Industrial Revolution. London, etc.: Portfolio Penguin.
Schwedler, Gerald & Sonntag, Jörg. 2021. Das Imitieren verstehen. Perspektiven, Analysen, Zugriffe. In Grünbart, Michael & Schwedler, Gerald & Sonntag, Jörg (eds), Imitationen: systematische Zugänge zu einem kulturellen Prinzip des Mittelalters, 1–25. Paderborn: Brill. DOI: https://doi.org/10.30965/9783846764183_002
Shapin, Steven. 1994. A Social History of Truth. Civility and Science in Seventeenth-Century England. Chicago: Chicago University Press. DOI: https://doi.org/10.7208/chicago/9780226148847.001.0001
Spieß, Constanze. 2024. Keine Panik vor der KI – Zuschreibungspraktiken in Diskursen über KI. Eine linguistische Perspektive. In Schreiber, Gerhard & Ohly, Lukas (eds), KI – Text. Diskurse über KI-Textgeneratoren, 363–382. Berlin, Boston: De Gruyter. DOI: https://doi.org/10.1515/9783111351490-023
Spitzmüller, Jürgen. 2019. ‘Sprache’– ‘Metasprache’ – ‘Metapragmatik’: Sprache und sprachliches Handeln als Gegenstand sozialer Reflexion. In Antos, Gerd & Niehr, Thomas & Spitzmüller, Jörg (eds), Handbuch Sprache im Urteil der Öffentlichkeit, 11–30. Berlin, Boston: De Gruyter. https://doi.org/10.1515/9783110296150-002 DOI: https://doi.org/10.1515/9783110296150-002
Steinhoff, Torsten. 2023. Der Computer schreibt (mit). Digitales Schreiben mit Word, WhatsApp, ChatGPT & Co. als Koaktivität von Mensch und Maschine. MiDU 5(1). 1–16. https://doi.org/10.18716/ojs/midu/2023.1.4
Taye, Mohammad Mustafa. 2023. Understanding of Machine Learning with Deep Learning: architectures, workflow, applications and future directions. Computers 12(5). 1–26. https://doi.org/10.3390/computers12050091 DOI: https://doi.org/10.3390/computers12050091
Tolosana, Ruben & Vera-Rodriguez, Ruben & Fierrez, Julian & Morales, Aythami A. & Ortega-Garcia, Javier. 2022. An introduction to digital face manipulation. In Rathgeb, Christian & Tolosana, Ruben & Vera-Rodriguez, Ruben & Busch, Christian (eds), Handbook of Digital Face Manipulation and Detection. Advances in Computer Vision and Pattern Recognition, 3–26. Cham: Springer. https://doi.org/10.1007/978-3-030-87664-7_1 DOI: https://doi.org/10.1007/978-3-030-87664-7_1
Turing, Alan. 1950. Computing Machinery and Intelligence. Mind, LIX (236). 433–460. DOI: https://doi.org/10.1093/mind/LIX.236.433
Vaccari, Cristian & Chadwick, Andrew. 2020. Deepfakes and disinformation: exploring the impact of synthetic political video on deception, uncertainty, and trust in news. Social Media + Society 6(1). 1–19.
https://doi.org/10.1177/2056305120903408 DOI: https://doi.org/10.1177/2056305120903408
Van Dijk, Teun A. 2011. Discourse studies and hermeneutics. Discourse Studies 13(5). 609–621. https://doi.org/10.1177/1461445611412762 DOI: https://doi.org/10.1177/1461445611412762
Whittaker, Lucas & Mulcahy, Rory & Letheren, Kate & Kietzmann, Jan & Russell-Bennett, Rebekah. 2023. Mapping the deepfake landscape for innovation: a multidisciplinary systematic review and future research agenda. Technovation 125. 1–17. https://doi.org/10.1016/j.technovation.2023.102784 DOI: https://doi.org/10.1016/j.technovation.2023.102784
Yildirim, Yetkin & Arslan, Emin Alp & Yildirim, Kamil & Bisen, Ibrahim. 2021. Reimagining education with Artificial Intelligence. Eurasian Journal of Higher Education 2(4). 32–46. https://doi.org/10.31039/ejohe.2021.4.52 DOI: https://doi.org/10.31039/ejohe.2021.4.52
Details
Funding data
-
Volkswagen Foundation
Grant numbers x
