AI-in-XR Kursvorlage

Dieses Repository bietet eine auf Unity basierende Vorlage für einen Kurs zu AI-in-XR, der die Integration künstlicher Intelligenz mit erweiterten Realitäten (XR) demonstriert. Die Vorlage umfasst Implementierungen zur Gestenerkennung und Dialogsysteme mit LLMs.

Übersicht

Diese Vorlage dient als Grundlage für die Entwicklung von XR-Anwendungen, die AI-Funktionen integrieren. Sie beinhaltet:

• Gestenerkennung mithilfe von MediaPipe Hands
• Dialogsystem mit LLM-Integration
• Modulare Architektur für einfache Erweiterungsmöglichkeiten
• Testrahmenwerk zur Validierung

Projektstruktur

AI-in-XR-Template/
├── Assets/
│   ├── Scripts/
│   │   ├── GestureRecognition/
│   │   │   └── HandGestureRecognizer.cs
│   │   ├── DialogueSystem/
│   │   │   └── AIDialogueManager.cs
│   │   └── Tests/
│   │       └── GestureTests.cs
│   ├── Scenes/
│   │   └── SampleScene.unity
│   └── Plugins/
│       └── MediaPipe/
├── Documentation/
│   └── UsageGuide.md
└── README.md

Einstieg

1. Erstelle ein neues Unity-Projekt
2. Installiere die erforderlichen Abhängigkeiten
3. Importiere diese Vorlage in dein Projekt
4. Konfiguriere die Szenen und Komponenten

Abhängigkeiten

• Unity 2021.3 oder später
• AR Foundation
• ARCore/ARKit (für mobile XR)
• MediaPipe Unity Plugin (Hands/Poses)
• Vosk Speech-to-Text Library
• Hugging Face/Transformers API oder lokales LLM

Nutzung

Gestenerkennung

Der HandGestureRecognizer-Komponente bietet eine grundlegende Gestenerkennung unter Verwendung von MediaPipe-Landmarken. Sie erkennt die Faustgeste, indem sie den Abstand zwischen Daumen- und Zeigefingergipfel misst.

Dialogsystem

Der AIDialogueManager-Komponente implementiert ein minimalistisches Chatbot-System, das:

1. Benutzereingaben verarbeitet
2. Mit einem lokalen LLM Antworten generiert
3. Callbacks für Anwendungslogik bereitstellt

Testen

Unit-Tests sind enthalten, um die Gestenerkennung und Dialogverarbeitung zu validieren. Siehe GestureTests.cs für Beispiele.

Entwicklungsprozess

Die Vorlage folgt diesem Entwicklungsprozess:

1. Minimaler Prototyp
2. Echtzeit-Interaktion
3. Kontextuelle Erweiterungen
4. Evaluation-Rahmen erstellen

Erweiterung der Vorlage

Gestenerkennung

• Füge komplexere Gestenalgorithmik hinzu (z.B. ML.NET)
• Integriere mit 3D-Modellanbindungen

Dialogsystem

• Integriere SAM/CLIP für multimodale Interaktion
• Implementiere Retrieval-Augmented Generation-Patterns
• Verbinde mit Web-APIs zum Zugriff auf umfassendes Wissen

---

---

AI-in-XR Course Template

This repository provides a Unity-based template for an AI-in-XR course that demonstrates integration of artificial intelligence with extended reality (XR) applications. The template includes implementations for gesture recognition and dialogue systems with LLMs.

Overview

This template serves as a foundation for developing XR applications that incorporate AI capabilities. It includes:

• Gesture recognition using MediaPipe Hands
• Dialogue system with LLM integration
• Modular architecture for easy extension
• Test framework for validation

Project Structure

AI-in-XR-Template/
├── Assets/
│   ├── Scripts/
│   │   ├── GestureRecognition/
│   │   │   └── HandGestureRecognizer.cs
│   │   ├── DialogueSystem/
│   │   │   └── AIDialogueManager.cs
│   │   └── Tests/
│   │       └── GestureTests.cs
│   ├── Scenes/
│   │   └── SampleScene.unity
│   └── Plugins/
│       └── MediaPipe/
├── Documentation/
│   └── UsageGuide.md
└── README.md

Getting Started

1. Create a new Unity project
2. Install required dependencies
3. Import this template into your project
4. Configure the scenes and components

Dependencies

• Unity 2021.3 or later
• AR Foundation
• ARCore/ARKit (for mobile XR)
• MediaPipe Unity Plugin (Hands/Poses)
• Vosk Speech-to-Text Library
• Hugging Face/Transformers API or local LLM

Usage

Gesture Recognition

The HandGestureRecognizer component provides basic gesture detection using MediaPipe landmarks. It detects a fist gesture by measuring the distance between thumb and index finger tips.

Dialogue System

The AIDialogueManager component implements a minimal chatbot system that:

• Processes user input
• Generates responses using a local LLM
• Provides callbacks for application logic

Testing

Unit tests are included to validate gesture detection and dialogue processing. See GestureTests.cs for examples.

Development Path

The template follows this development path:

1. Minimal Prototype
2. Real-time Interaction
3. Contextual Extensions
4. Create Evaluation Framework

Extending the Template

Gesture Recognition

• Add more complex gesture algorithms (e.g., ML.NET)
• Integrate with 3D model attachments

Dialogue System

• Integrate SAM/CLIP for multimodal interaction
• Implement Retrieval-augmented Generation patterns
• Connect to Web APIs for comprehensive knowledge access