Virtual & Augmented Technologies

Virtual & Augmented Technologies

Mixed Realities in der Pflege & Gesundheit

Das Mixed-Reality-Spektrum ermöglicht es, die Lebenswelt aus einer anderen Perspektive zu betrachten oder die Betrachtung mit zusätzlichen Inhalten anzureichern.


Themeneinführung

Definition: VR, MR, AR
Milgram und Takemura führen den Begriff des Realitäts-Virtualitäts-Kontinuums ein. Was nicht vollständig "Realität" bzw. "Virtuell" ist gilt als Mixed Reality.

Mit dem Ziel, den Begriff der Erweiterten Realität (AR) schärfer zu definieren, setzen sich Milgram et al. (1994) verfügbaren Technologien auseinander. Sie spannen hierzu ein Kontinuum zwischen "absolut realer" und "absolut virtueller" Umwelt auf.



Pole & Kontiniuum

  • Reale Umgebung: Der Pol der "Realität" besteht ausschliesslich aus realen Objekten. Es wird als das bezeichnet, von einer Person direkt beobachtet - oder durch ein Display wiedergegeben wird (vgl. Milgram et al. 1994, S. 283). Der Begriff der "realen Umgebung" grenzt sich damit von vielfältigen Konzepten der Realität ab.
  • Virtuelle Umgebung: Der Pol der "Virtualität" besteht ausschliesslich aus virtuellen Objekten, etwa Computersimulation, unabhängig davon, wie sie dargestellt werden. (vgl. Milgram et al. 1994, S. 283). Wie das Konzept der Realität kann auch das Konzept der Virtualität breit diskutiert werden.
  • Gemische Realität (MR): Der Begriff der Gemischten Realität umfasst alles, sich zwischen den Polen der absolut realen bzw. absolut virtuellen Umgebung befindet. Diese Pole sind also nicht Element der Gemischten Realität. (vgl. Milgram et al. 1994, S. 283)

Realitäten

  • "Reale Realität": Milgram et al. lassen das Gegenstück zur Virtuellen Realität undefiniert, sprechen es jedoch im Zusammenhang mit der "Realen Umgebung" an, indem sie das beschreiben, was von einer Person direkt beobachtet - oder durch ein Display wiedergegeben wird (vgl. Milgram et al. 1994, S. 283). Gemeint sein könnte also der "unverfälschte" Film bzw. das "unverfälschte" Foto. (Über die Grenzen des "Verfälschens" oder der "Manipulation" lässt sich vielfältig streiten)
  • Erweiterte Realität (AR): Die Augmentierte Realität ist demnach der Anteil von Mixed-Reality, der näher an der "Realen Umgebung" liegt. (z.B. FX/CGI-Effekte im Film, additive-Filter im Bereich social Media)
  • Erweiterte Virtualität (AV): Die Virtuelle Realität ist der Anteil von Mixed-Reality, der näher an der "Virtuellen Umgebung" liegt. (z.B. Reale Gegenstände in Virtuellen Welten)
  • Virtuelle Realität (VR): Analog zum Beispiel der "Realen Realität" kann die Virtuelle Realität als das gefasst werden, was aus der Virtuellen Umgebung wiedergegeben wird: Der Blick in die virtuelle Umgebung, der vollständig computeranimierte Film, das gerenderte Foto.

Grenzbereiche

Weiterlesen

Milgram et. al. (1994) unterscheiden verschiedene Technologie-Ansätze auf Basis folgender Ansätze:

  • Display-Typ: Monitor oder HMD
    • Monitor: Nicht-immersives AR erleben (z.B. Cave, Kino, TV, PC, Tablet, Smartphone, (Smartwatch))
    • HMD: Head Mounted Display: Warable (z.B. Visier, Brille, Kontaktlinse)
  • Umwelt-Darstellung: Video, ST oder CG-Welt basiert
    • Video: Darstellung einer Aufnahme aus der realen Welt
    • ST (See through): Direkte Wahrnehmung der realen Welt
    • CG-Welt: Darstellung einer Computergenerierten Welt.
  • Anreicherung: Overlay oder Intervention
    • Overlay: Ein (reales/virtuelles) Element wird über die Umwelt gelegt.
    • Intervention: Ein (reales) Element greift in ein (virtuelles) Objekt ein.
Milgram et. al (1994) bewerten die Typen nach folgenden Kriterien:
  • R/CG - Wird die reale Welt (R) oder eine Computergenerierte Welt (CG) dargestellt?
  • D/S - Wird die (Träger-)Welt (Substrat) direkt (D unmittelbar) oder gescannt (S - indirekt, abfotografiert) dargestellt?
  • EX/EG - Wird die Welt Exozentrisch (viele sehen das gleiche) oder Egozentrisch (aus individueller Perspektive) dargestellt?
  • 1:1/1:k - Konformes (1:1) oder Nicht-Konformes (1:k) verbinden von Realität und Virtualität (noch unklar, woher "1:1" und "1:k" kommen - ggf. geht es hier um Winkel- oder Flächentreue, ggf. auch um Ausschnitte aus der Welt, die dargestellt werden)



Technologie Welt...
R/CG
Substrat...
D/S
Referenz...
EX/EG
Mapping
1:1/1:k
1. Monitor-basiertes Video mit CG-Overlays: R S EX 1:k
2. HMD basiertes Video mit CG-Overlays R S EG 1:k
3. HMD basiertes, optisches ST with CG-Overlays R D EG 1:1
4. HMD basiertes Video-ST with CG-Overlays R S EG 1:1
5. Monitor/CG-Welt mit Video-Overlays CG S EX 1:k
6. HMD/CG-Welt mit Video-Overlays CG S EG 1:k
7. CG-basierte Welt mit Einfluss durch reale Interventionen CG D, S EG 1:1

Beispiele für diese Technologien:

  1. Social-Media Filter auf dem Smartphone ("Tier-Ohren und Tier-Nase über dem Gesicht") (How Snapchat's filters work)
  2. Einstellen des Sicherheitsbereichs auf der VR-Brille: Die (reale) Welt wird gefilmt wiedergegeben, der Sicherheitsbereich wird (virtuell) eingezeichnet (Oculus Quest: Guardian Setup and Demo)
  3. AR-Brille: Steuerungsmenüs werden auf der echten Handfläche eingeblendet. (Hololens 2 tutorial)
  4. VR-Brille im AR-Modus (NuEyes e2 - VR-Brille für sehbeeinträchtigte Menschen)
  5. QR-Code-AR-Apps (MyWebAR)
  6. VR-Meetings (Remote Work)
Weiterlesen

Mixed Realities im Gesundheitswesen

  • Motivation zu gemeinsamen Gesprächen
  • Entspannung
  • Schmerzprävention
  • Bewegungsmotivation
  • Prävention von Vereinsamung und Depression
  • Erinnerungsarbeit
  • Orientierung und Selbstbewusstsein im Alltag
  • Aufmerksamkeits- und Konzentrationstraining
Weiterlesen



Grundprinzipien

  • Dezentrale Datenerhebung
    • Datenerhebung: Die Erhebung von Daten kann manuell (Handmessung) oder maschinell (Sensorik) erfolgen.
    • Dokumentation: Die Dokumentation der Daten kann händisch oder automatisiert erfolgen.
    • Datentransfer: Die Übertragung der Daten kann physisch (z.B. Postversand) oder online (z.B. Mobilfunknetz, Datennetz) erfolgen.
  • Zentrale Datenverarbeitung
    • Menschliche Verarbeitung: Die Verarbeitung der Daten erfolgt durch einen Menschen (Spezialistin)
    • teilweise maschinelle Verarbeitung: Die Verarbeitung der Daten erfolgt teilweise durch Maschinen (z.B. Aufbereitung oder Darstellung der Daten in verlaufskurven)
    • vollständige maschinelle Verarbeitung: Die Verarbeitung der Daten erfolgt vollständig durch Maschinen (z.B. Künstliche Intelligenz in der Diagnostik)
  • Dezentrale Aktorik
    • Menschliches Handeln: Die Rückmeldung von Diagnose und Therapie erfolgt rein Menschlich (z.B. Krisengespräch)
    • teilweise maschinelle Handlung: Die Rückmeldung von Diagnose und Therapie erfolgt in teilen maschinell (z.B. ausgedrucktes Rezept)
    • vollautomatisierte Handlung: Die Rückmeldung von Diagnose und Therapie erfolgt vollständig maschinell (z.B. automatische Medikamentenanpassung)
Weiterlesen


  • 0:10 - Leber-OP-Training via VR
  • 1:30 - Vorbereitung auf OPs (VR)
  • 2:08 - AR erlaubt den Blick in das Körperinnere
Weiterlesen

Augmented Reality im Gesundheitswesen

Augmented Reality in der Lehre
Die Augmented-Reality App "CareTrain" im Einsatz an der Vorarlberger Kinder-Uni.

0:00 - Intro
3:21 - Kulturelle Einordnung: Herz & Liebe
5:50 - Tierherzen
11:10 - Anatomie
13:39 - Blick durch die Augmented-Reality-Brille
18:30 - Grösse und Pumpleistung des Herzens
22:28 - Pulsoxymeter
23:50 - Blutdruck
26:25 - Abschlussfragen

Weiterlesen

AR-Sandboxen können zur Bioresonanz-Therapie und entspannung eingesetzt werden.



Produktbeispiel

Weiterlesen



  • 0:35 - AR erlaubt es, die angsterzeugenden Entitäten in das wirkliche leben zu bringen.
  • 0:59 - Parameter sind einstellbar (z.B. Spinnentyp, Farbe, Grösse, Geschwindigkeit, Blickrichtung)
  • 2:00 - Vertrauen zwischen Profession und Technik sowie die Kenntnis der jeweiligen Bedürfnisse und Limitationen sind ein Erfolgsfaktor.
Weiterlesen


Produktwebsite nomadeec

Fragen zur Reflexion

  • Wie wirkt sich der eingeschränkte Augenkontakt auf die zu rettende Person aus?
    • Gibt es Vergleichswerte aus der Bergrettung (Sonnenbrille) oder Hubschrauberrettung (Helmvisier)?
  • Wie wirkt sich die Technologie auf die Dokumentation aus:
    • Geschwindigkeit (z.B. Führung durch Screening- und Assessment-Instrumente)
    • Hygiene (z.B. Erspart die Kontaktlose Dokumentation den Hanschuhwechsel?)
    • Präzision (z.B. Führt die Dokumentation auf einem Avatar zu einer verbesserten/erweiterten Maschinenlesbarkeit von Daten?)
Weiterlesen

Virtual Reality im Gesundheitswesen

Virtual Reality: Aktivierung


(Gleicher Inhalt via ARD-Mediathek bis 03.03.2025 verfügbar. Siehe Quellen)

  • 2:03 - Virtuelles Reisen
  • 8:50 - Kommunikationsanstoss, Ablenken von aktuellen Problemen.

Weiterlesen


  • 0:00 - 360°-Fotografie als Dokumentation des häuslichen Beratungssettings in der Nach-Recherche.
  • 1:40 - 360°-Rundgang für den Wissenstransfer
Weiterlesen


  • 0:44 - Phantomschmerzen durch Training reorganisieren
  • 3:00 - Phantomschmerzen: Bestimmte Griffe müssen mit dem Armstumpf ausgeübt werden - oder eine bestimmte Griffkraft aufgebracht werden.
  • 4:06 - Hemiparesen-Training: Beeinträchtigte Seite gezielt mobilisieren.

Weiterlesen


  • 0:26 - Bottroper Tetraeder - Physisches Expositionstraining
  • 1:26 - VR-Expositionstraining
  • 4:10 - Physisches Expositionstraining nach VR-Expositionstraining
Weiterlesen


  • 14:38 - Diagnostik: Visualisieren des Skelettapparats in der Bewegung (AR)
  • 15:24 - Ausbildung: Anatomie im Virtuellen Präpariersaal (VR)
  • 20:22 - Grenzen (Fehlende Inhalte, Emotionalität, Leiblichkeit)
Weiterlesen

VR in der Diagnostik
Mit einer VR-Anwendung kann der Neglect ähnlich gut erkannt werden wie mit Papier-Bleistift-Aufgaben.

Pilotstudie (2020) Immersive 3D Virtual Reality Cancellation Task for Visual Neglect Assessment: A Pilot Study

Weiterlesen


Handlungsanleitung

Wir suchen nach Möglichkeiten, über Cloud-Anker oder Objekterkennung Wissen und Ort bzw. Objekt zusammenzuführen.

Die Bedienung von Technik kann komplex sein. Wir suchen eine Möglichkeit, angepasste Handlungsanleitungen über "Augmented Reality" verfügbar zu machen. Damit könnte die Komplexe Bedienung in Schritt-Für-Schritt-Anleitungen heruntergebrochen werden.



AR-Anleitung:

Handlungsanleitungen können über Augmented Realities im Smartphone gespeichert werden.



Persistierende Cloud-Anker

Handlungsanleitungen können auch für alle Verfügbar gemacht werden und an Orte (oder Objekte?) geheftet werden.





Memos

https://www.openarcloud.org/

Weiterlesen