HOW TO INTERACT: Interact with Schema by adjusting the creature’s mental state, represented by the box on the lower left of the screen. The vertical axis represents the creature’s arousal level, while the horizontal axis represents the creature’s emotional orientation, from internal to external. Blend between emotional states by changing the nudging position of the particle system; in the installation space use the game controller’s D-pad, or on Twitch type “up” “down” “left” or “right” into the chat. 

(d) Beeinflusse Schema indem du den Gefühlszustand der Kreatur veränderst. Diesen kannst du in der Box links unten auf dem Screen sehen. Die vertikale Achse zeigt den Stimmungsgrad der Kreatur an, während die horizontale Achse die emotionale Ausrichtung der Kreatur von der Innen- zur Außenwelt darstellt. Wechsle zwischen den Gefühlszuständen, indem du die Position des Partikelsystems änderst. Verwende dazu im Installationsbereich das D-Pad des Game Controllers oder gebe auf Twitch "up" "down" "left" oder "right" in den Chat ein.

Will Freudenheim, Schema, 2023, Interactive Simulation Game, Edition of 3 + 2 AP's → Inquire

Schema - An interactive simulation game by Will Freudenheim

In the intricate landscape of Schema, participants find themselves drawn into a symbiotic relationship with a mesmerizing forest creature, a sublime embodiment of unceasing transformation. This composite entity's existence is defined by a dance of adaptation, an ongoing evolution driven by its engagement with the myriad elements of its sylvan world—objects, animals, and substances that together weave a rich tapestry of life. 

Viewers interact with Schema through the portal of Twitch's chat interface, manipulating the creature’s emotional and behavioral spectra. The modulation of arousal and shifts from introspective to extroverted orientations incite a kaleidoscope of behavioral patterns. Guided by the spectral hands of real-time audience interaction, the creature reciprocally dances through its world.

Navigating between degrees of arousal and a range from inward to outward focus, Schema melds various emotional states: content, anxious, aggressive, and curious, subtly influencing its diverse behaviors in exploration, refuge, and confrontation within its digital realm. By day, the creature collects glowing "pearls"; by night, these become offerings, generating algorithmic melodies, a direct interplay between user interaction and automated creation.

For instance, by subtly manipulating the creature's arousal level—raising it or lowering it—and adjusting its focus from inward to outward, participants can trigger a complex interplay of emotions. This could range from curiosity to anxiety, or from contentment to aggression, depending on the blend of arousal and orientation levels. These emotional states are then mapped to the creature’s AI state machine, directly influencing its decision-making processes and behaviors.

Schema is grounded in the simple yet meaningful concept of exploring the dynamics of interaction within a digital space. It explores the concept that simple interactions between audiences and digital creatures can lead to complex, emergent effects within the boundaries of designed feedback loops. The underlying theory is about understanding the subtle, often unpredictable effects of collective inputs on the behavior of a digital entity. This approach allows for a thoughtful examination of how emotional states and actions in a virtual environment can be influenced by external, collaborative interactions, specifically through a chat interface. At its core, Schema is an experiment in shared experiences and the emergent stories that unfold from the convergence of many voices shaping a singular, evolving narrative within a digital world.

(d) In der bunten Landschaft von „Schema“ finden sich die Spieler*innen in einer symbiotischen Beziehung zu einer faszinierenden Waldbewohner-Kreatur wieder, die eine Verkörperung fortlaufender Transformation darstellt. Die Existenz dieser Kreatur wird durch eine tanzähnliche Bewegung definiert. Eine ständige Entwicklung, angetrieben durch die Interaktion mit den zahlreichen Elementen seiner sylvanischen Welt, Objekten, Tieren und Substanzen, die zusammen ein opulentes Geflecht des Lebens weben.

Die Zuschauer*innen interagieren mit “Schema” über das Chat-Portal von Twitch, indem sie die Emotions- und Verhaltensspektren der Kreatur beeinflussen. Durch die Steuerung der Emotionen und den Austausch von introspektiven und extrovertierten Verhaltensweisen wird ein umfangreiches Spektrum an Verhaltensmustern erzeugt. Die Kreatur wird durch die Echtzeit-Interaktion des Publikums geleitet und bewegt sich wechselseitig durch ihre Welt.

Zwischen verschiedenen Erregungsgraden in einer Skala von innerer zu äußerer Ausrichtung bewegend, verschmilzt „Schema“ verschiedene emotionale Zustände: Zufriedenheit, Angst, Aggressivität und Neugierde. Es beeinflusst subtil sein vielfältiges Verhalten in Erkundung, Zuflucht und Konfrontation innerhalb seiner digitalen Sphäre. Tagsüber sammelt die Kreatur leuchtende "Perlen"; nachts werden diese zu Gaben, die algorithmische Melodien erzeugen – ein direktes Wechselspiel zwischen Benutzerinteraktion und automatischer Kreation.

Schema basiert auf dem einfachen, aber aussagekräftigen Konzept der Erforschung der Dynamik von Interaktionen im digitalen Raum. Es erforscht wie einfache Interaktionen zwischen Publikum und digitalen Lebewesen zu komplexen Effekten innerhalb der Grenzen der entworfenen Feedbackschleifen führen können. Bei der zugrunde liegenden Theorie geht es um das Verständnis der subtilen, oft unvorhersehbaren Auswirkungen kollektiver Eingaben auf das Verhalten einer digitalen Einheit. Dieser Ansatz ermöglicht eine durchdachte Untersuchung, wie emotionale Zustände und Handlungen in einer virtuellen Umgebung durch externe, kollaborative Interaktionen, insbesondere durch eine Chat-Schnittstelle, beeinflusst werden können. Im Kern ist Schema ein Experiment über gemeinsame Erfahrungen und die entstehenden Geschichten, die sich aus der Konvergenz vieler Stimmen ergeben, die eine einzigartige, sich entwickelnde Erzählung in einer digitalen Welt formen.

Exhibition View

Exhibition View

Schema Transmutations - Drawings by Will Freudenheim

"Schema Transmutations" is a series of physical manifestations of Schema, brought to life using an Axidraw pen plotter—a computer-guided drawing machine. Each one-of-a-kind illustration mirrors the constant evolution of the creature from the interactive digital world, as the Axidraw's pens sketch the creature, its landscape, and the pearls that it collects. Through this process, the essence of digital 3D illustrations is captured in a form that is both hand-crafted and digitally conceived.

(d)"Schema Transmutations" ist eine Serie physischer Manifestationen von Schema, die mit der computergesteuerten Zeichenmaschine Axidraw-Penplotter gefertigt wurden. Jede einzelne Zeichnung spiegelt die ständige Weiterentwicklung der Kreatur aus der interaktiven digitalen Welt wider. Die Stifte der Axidraw Zeichenmaschine skizzieren die Kreatur, ihre Landschaft und die Perlen, die gesammelt werden. Durch diesen Prozess wird die Essenz digitaler 3D-Illustrationen in einer Form eingefangen, die sowohl handgefertigt als auch digital konzipiert ist.

About Will Freudenheim

Will Freudenheim (*1996) is an artist, game designer, and scientist based in New York.Education: S.M. Comparative Media Studies, Massachusetts Institute of Technology (MIT), 2021 (USA), B.A. Science in Society, Wesleyan University, 2018 (USA). His artistic practice includes working with real-time 3D engines for virtual exhibitions and live performances, as well as developing game-based systems that make the process of collective knowledge construction experiential. Freudenheim's exploration of game engines as an artistic medium includes the development of games for the MIT Education Arcade (USA) and concepts forknowledge exchange with cultural institutions such as the Serpentine Galleries and Trust (Hivemind, 2022). The use of game engines also serves to create interactive visuals for musical and artistic performances in New York and Berlin. In 2023, Will Freudenheim participated in the "Antikythera" program (Los Angeles, Mexico, Seoul), which conducts research in the field of speculative philosophy and design.

(d) Will Freudenheim (*1996) ist ein Künstler, Game Designer und Wissenschaftler, er lebt und arbeitet in New York. Ausbildung: S.M. Comparative Media Studies, Massachusetts Institute of Technology (MIT), 2021 (USA). B.A. Science in Society, Wesleyan University, 2018 (USA). Zu seiner künstlerischen Praxis gehört die Arbeit mit Echtzeit-3D-Engines für virtuelle Ausstellungen und Live-Performances, sowie die Entwicklung spielbasierter Systeme die interaktiv, den Prozess kollektiver Wissenskonstruktion erfahrbar machen. Freudenheims Untersuchungen von Game-Engines als künstlerisches Medium umfasst die Entwicklung von Spielen für das Institut für Bildungsforschung am MIT (USA) und von Konzepten des Wissensaustauschs mit und von Kultureinrichtungen, wie den Serpentine Galleries und Trust (Hivemind, 2022). Auch dient die Verwendung von Game-Engines der Erstellung interaktiver Visuals für musikalische und künstlerische Performances in New York und Berlin. Will Freudenheim hat 2023 an dem Programm „Antikythera“ (Los Angeles, Mexiko, Seoul) teilgenommen, welches im Bereich der spekulativen Philosophie und Design forscht.

Photo Daniel Mayer

Will Freudenheim, Schema, exhibition poster, A1
→ Collect

Supported by