Sprachassistenz

DINU - Conversational Interfaces | Datenschutz

Zentrale Vorinformationen

Definition: Sprache
Zentral für die menschliche Sprache ist die Verbindung von Lautbild und mentaler Vorstellung.

Unter Sprache versteht man im allgemeinen Sinn alle komplexen Systeme der Kommunikation.
Zentral für die menschlichen Sprachen ist, die willkürliche, nicht zwingende Verbindung von Lautbild und mentaler Vorstellung. (Weiterführend: Wikipedia)

Sprache ist ein System aus Zeichen mit einer Form- und Inhaltsseite.

  • Sprache besteht aus einer artikulierenden (z.B. Stimmorgan) und einer aufnehmenden (z.B. Ohr) Seite.
  • Sprache besteht besteht aus einer Formalen (z.B. akustisch-vokalen) und einer physiologisch-mentalen (z.B. Gedanke) Einheit
  • Sprache hat eine individuelle und eine Soziale Seite. Man kann die eine nicht ohne die andere Begreifen.
  • Sprache ist zu jedem Zeitpunkt sowohl ein feststehendes System als auch eine Entwicklung (vgl. de Saussure 2016, S. 8).

Memos zur Vertiefung

Linguistik ist die wissenschaftliche Disziplin, die Sprache beschreiben und erklären soll, z.B.

  • Sprache Formal beschreiben - damit z.B. eine Grammatik entwickelt wird, die von Computern lesbar ist.
  • Funktionen der Sprache erfassen.
  • Historische Stufen der Entwicklung von Sprache Nachzeichnen
  • mediale Formen von Sprachen (Laute, Schriftzeichen, Gebärden) aufzeigen
  • Beschreibungsebenen (Phonologie, Morphologie, Syntax, Semantik, Pragmatik) benennen
  • Sprachliche Variationen (Dialekte, Soziolekte, Jugendsprache, Fachsprache etc.) untersuchen
  • Sprache in der Interaktion untersuchen (vgl. Imo und Lanwer 2019, S. 1)



Weiterlesen

Sprachassistenten sind Regelwerke, die es ermöglichen natürliche menschliche Sprache zu interpretieren und z.B. Antworten zu liefern.

Ein Sprachassistent ist eine Software, die es ermöglicht

  • mittels Kommunikation in natürlicher, menschlicher Sprache
  • Informationen abzufragen, Dialoge zu führen und Assistenzdienste zu erbringen,
  • indem sie zur Spracherkennung eine Sprachanalyse vollzieht, diese semantisch interpretiert, logisch verarbeitet und
  • als Ergebnis durch Sprachsynthese eine Antwort formuliert. (Weiterführend: Wikipedia)



Weiterlesen

Vertiefende Informationen im Themenfeld Sprachassistenz & Datenschutz

Hinweise & Vorwissen zur Aufgabenstellung

Sie finden bei der jeweiligen Lösung den aktuellen Stand des Wissens hinterlegt.

Aufgabenstellungen im Labor

Akinator: Chatbot & Spracherkennung
Ergründen Sie, wie der Algorithmus des Akinators aufgebaut ist.
  1. Starten Sie den Akinator
    1. Auf dem Amazon Echo Show mit "Alexa - Starte Akinator" (Hinweis: 22.03.2022 - Fehlermeldung tritt erstmals auf - Das Programm ist in der Schweiz nicht verfügbar, obwohl installiert.)
    2. auf dem Mobiltelefon über den folgenden Link
  2. Notieren Sie eine Figur auf einem Zettel und beantworten Sie die Fragen des Akinators.
  3. Visualisieren Sie die Regeln und Pfade, denen der Akinator folgt.

Akinator Web-App öffnen

Weiterlesen

Furhat:
Puzzeln Sie den Programmcode für "Wer ist es" zusammen.
  1. Erstellen Sie auf Papier oder dem Whitboard einen Entscheidungspfad zu "Wer ist es?"
  2. Starten Sie auf dem SimDeC-Rechner die Furhat-Administrations-Seite
  3. Starten Sie den Skilll "Blockly"
  4. Öffnen Sie die Programmier-Seite
  5. Setzen Sie Ihren Entscheidungspfad um.
Unsere gebündelte Erfahrung dokumentieren wir im Furhat-Tutorial
Zum Programmieren eines ersten Skills empfehlen wir Blockly Weiterlesen

Weiterführende Aufgabenstellungen

Arbeitsauftrag
Bitte überprüfen Sie folgende Anleitungen:

Fragestellungen

  • Welche Informationen sollten ergänzt werden?
  • Welche Informationen sind zentral - welche sind ausschmückend?
  • Wie können die notwendigen Informationen Visuell umgesetzt werden?
    • Per Foto
    • Per Video
  • Wie kann/soll die Anleitung in einzelschritten Strukturiert sein?
Weiterlesen

Entwickeln Sie ein Konzept für Sprachassistenz und Sprachsteuerung im Feld von Pflege und Betreuung.
  1. In welchen Situationen könnte Sprachgesteuerte Automatisierung im Bereich von Pflege und Betreuung eingesetzt werden?
  2. Auf welche Informationen muss dabei zurückgegriffen werden?
  3. Wie werden diese Informationen erhoben?
  4. Welche Regeln müssen gedacht werden?
  5. Welche fachlichen und wertebezogenen Fragestellungen müssen reflektiert werden?

Einsatzbereiche von Sprachassistenten

Dokumentation

    • Projekt SPRINT DOKU (Projektlaufzeit 28.11.2018-27.11.2021)

Smart Home Steuerung

Erinnerungsarbeit

Kommunikation


Quellen:

Weiterlesen

Verwenden Sie verschiedene Annäherungsweisen, um sich den vorhandenen Furhat-Skills anzunähern
  1. Name des Skills: Welche Funktion leiten Sie vom Namen des Skills ab?
  2. Mit Furhat anwenden: Starten Sie den Skill am Furhat und versuchen sie die Funktion zu entschlüsseln.
  3. Erweitern Sie Ihren Blick über das Dashboard und den Wizzard des Furhat-Web-Interfaces
  4. Betrachten Sie mit IntelliJ IDEA den Code des Skills. Was entdecken Sie?

Die Skills im SimDeC

  • DialogFlow
  • FruitSeller
  • Interviewee
  • JokeBot
  • PizzaOrder
  • Presentation
  • Quiz
  • WolframAlpha
  • Blockly
  • remote-API
  • Cardgame
  • Switch-Language
  • Präsi-DE
Unsere gebündelte Erfahrung dokumentieren wir im Furhat-Tutorial

Weiterlesen

Erstellen Sie einen ersten Skill in Blockly.

  1. Starten Sie den SDK-Launcher
  2. Starten Sie den Skilll "Blockly"
  3. Öffnen Sie die Programmier-Seite
  4. Lassen Sie Ihren Gedanken freien Lauf
Unsere gebündelte Erfahrung dokumentieren wir im Furhat-Tutorial
Zum Programmieren eines ersten Skills empfehlen wir Blockly
Weiterlesen

Den DAK-Erinnerungscoach haben wir auf YouTube mit dem Suchbegriff "Alexa Demenz" gefunden.

Initialdialog

  • Alexa, öffne Erinnerungscoach.
  • Willkommen beim DAK-Erinnerungscoach. Wähle bitte einen Spielmodus aus: Eins - Sprichwörter vervollständigen. Zwei - Märchen raten. Drei - Geräusche erkennen.
  • Eins - Sprichwörter vervollständigen.
  • Du hast dich für das Sprichwörter vervollständigen entschieden. Ich beginne jeweils ein Sprichwort, welches Du ergänzen darfst. Wenn Du es nicht weißt, sage "weiter". Wenn Du es erneut hören willst, sage "wiederholen". Zum Beenden sage "Beenden". Viel Glück und viel Spaß. Wie endet das erste Sprichwort? "Probieren geht über"
  • Studieren
  • Prima. Stimmt genau: Probieren geht über studieren. Weiter gehts "Wer anderen eine Grube gräbt"
  • Fällt selbst hinein.

Aufgaben

  • Bewerten Sie die Dialoge, die Alexa ins Setting bringt und leiten sie aus diesen Bewertungen Dimensionen ab (z.B. Wortwahl, Pausen, Sprechgeschwindigkeit...): Welche Dimensionen müssen bei der Konstruktion und Beurteilung eines Sprachassistenten für Menschen mit Demenz berücksichtigt werden?
  • Installieren Sie den Erinnerungscoach auf der Alexa (im SimDeC) bzw. rufen Sie diesen auf:
    • Was passiert, wenn sie die falsche Antwort geben?
    • Was passiert, wenn Sie im Dialekt bzw. Schweizerdeutsch sprechen?
    • Was passiert, wenn Sie schweigen bzw. das Nicht-Antworten aushalten?
  • Welche Alternativen gibt es zur Erinnerung und Aktivierung? Welchen Mehrwert bietet Alexa gegenüber anderen Ansätzen?
  • Welche weiteren Fragen müssen wir stellen, um den Lösungen im Bereich von Erinnerung und Aktivierung zu reflektieren?
  • Konzipieren Sie Ihre eigenen (vielleicht regional adaptierte) "Erinnerungscoach".
Weiterlesen

Nutzen & Missbrach

  • Welcher Nutzen lässt sich aus der Funktionsweise von Sprachassistenten ableiten?
  • Welche Missbrauchspotentiale sind denkbar?
    • Im Einzelfall?
    • Im Systematischen Datenbezug?
    • Im Zusammenhang mit weiteren Daten (z.B. Einkommen, Mobilitätsdaten)

Schwachstellen

  • Welche Schwachstellen gibt es im System?
    • Technisch?
    • Menschlich?
  • Sugawara, Takeshi; Cyr, Benjamin, Rampazzi, Sara, Genkin, Daniel, Fu, Kevin (2021) Lightcommands.

Datenschutz

  • Was bedeutet es für den Datenschutz, wenn Menschen die Daten von Sprachassistenten auswerten? (vgl. HmbBfDI 2019)
  • Digitale Assistenten - Projektbericht (ITA 2019)

Entscheidungsfindung

  • Wie werden Entscheidungen getroffen?
  • Wie werden Entscheidungen beeinflusst?
  • Mit welcher Transparenz wird auf die Entscheidung eingewirkt?

Quellen:

Weiterlesen