Microsoft testet Copilot Vision Update für die Erkennung von Apps auf dem Bildschirm
Microsoft stellt ein verbessertes Copilot-Erlebnis vor, das die Interaktion von Nutzern mit KI in Windows-Anwendungen verändert. Dieses innovative Update erweitert die Fähigkeiten von Copilot Vision über Microsoft Edge hinaus und ermöglicht Echtzeitunterstützung für jede Desktop-Anwendung durch intelligente Bildschirmfreigabefunktionen.
Erweiterte Funktionen
Copilot Vision bietet jetzt kontextbezogene Unterstützung für das gesamte Windows-Ökosystem
KI-gestützte Bildschirmanalyse jetzt für alle PC-Anwendungen verfügbar
Ermöglicht interaktives Coaching für komplexe Software wie Adobe Photoshop
Ermöglicht die visuelle Analyse von Fotos, Dokumenten und Webinhalten im gesamten System
Wird derzeit zunächst für Windows-Insider-Tester in den USA eingeführt
Praktische Anwendungen
Interaktive Software-Anleitung
Der verbesserte Copilot Vision erweist sich als besonders wertvoll bei der Unterstützung von technischen Anwendungen. Bei der jüngsten Demonstration von Microsoft war die KI erfolgreich:
- Schritt-für-Schritt-Anweisungen für das Minecraft-Spiel
- Optimierte Einstellungen für die Videobearbeitung in Clipchamp
- Hervorhebung relevanter Oberflächenelemente bei Software-Tutorials

Im Gegensatz zur umstrittenen Recall-Funktion, die periodische Schnappschüsse aufnimmt, funktioniert Copilot Vision eher wie eine dynamische Screen-Sharing-Sitzung, bei der die KI den sichtbaren Inhalt aktiv interpretiert und darauf reagiert, ohne Bilder dauerhaft zu speichern.
Ergänzende Funktionen
Intelligente Dateisuche
Microsoft testet gleichzeitig eine erweiterte Dateisuchfunktion in Copilot, die:
- Indizierung und Erkennung von Dokumenteninhalten in verschiedenen Formaten
- Unterstützt gängige Dateitypen wie Office-Dokumente und PDFs
- hilft bei der Suche nach kürzlich bearbeiteten Dateien durch Abfragen in natürlicher Sprache
Zugänglichkeit und Verfügbarkeit
Plattform-Unterstützung
- Windows 11 (nicht auf Copilot Plus PCs beschränkt)
- Mobile Versionen für iOS und Android
- Anfängliche Beta-Version beschränkt auf US-Tester
- Geplante öffentliche Markteinführung innerhalb weniger Monate
Voraussetzungen für die Implementierung
Für den Zugriff auf die kommenden Copilot-Erweiterungen benötigen die Nutzer lediglich:
- Die Copilot-Standardanwendung für Windows
- Eine aktive Internetverbindung für die Cloud-Verarbeitung
- Aktualisierte Windows 11-Installation
Microsoft geht davon aus, dass die schrittweise Freigabe dieser KI-Funktionen für alle Windows 11-Nutzer im Laufe dieses Jahres nach erfolgreichen Betatests abgeschlossen sein wird.
Verwandter Artikel
Ollie setzt auf Datenschutz, um das Rennen um den KI-Assistenten zu gewinnen
Um wirklich hilfreich zu sein, muss ein KI-Assistent seinen Nutzer genau verstehen. Ollie, ein für den Alltag konzipierter persönlicher Assistent, basiert auf der Prämisse, dass dies nicht mit der Wei
So wird die „AI LIVE: London“ KI und industrielle Automatisierung beleuchten
Auf dem Gipfel werden Führungskräfte der obersten Ebene aus aller Welt zusammenkommen, um dringende Herausforderungen in globalen Branchen zu erörtern – von KI-getriebenen Umbrüchen bis hin zu wirtsch
Anthropic tritt in den Markt für KI-gestützte Rechtstechnologie ein, während der Wettbewerb zunimmt
Anthropic hat am Dienstag eine Reihe neuer Chatbot-Funktionen vorgestellt, die darauf abzielen, Rechtsanwaltskanzleien automatisierte Unterstützung zu bieten. Diese Verbesserungen erweitern die bereits zu Jahresbeginn eingeführte, mandantenspezifisch
Empfehlungen zu verwandten Spezialthemen
Kommentare (1)
Also Copilot kann jetzt auch andere Apps erkennen? Das ist ja praktisch! Hoffentlich klappt das besser als die automatische Rechtschreibkorrektur in Word... 😅 Aber mal im Ernst, wenn das wirklich zuverlässig funktioniert, könnte es die tägliche Arbeit echt beschleunigen. Ich frage mich nur, wie das mit Datenschutz aussieht – schließlich 'sieht' die KI dann ja alles auf meinem Bildschirm.
Microsoft stellt ein verbessertes Copilot-Erlebnis vor, das die Interaktion von Nutzern mit KI in Windows-Anwendungen verändert. Dieses innovative Update erweitert die Fähigkeiten von Copilot Vision über Microsoft Edge hinaus und ermöglicht Echtzeitunterstützung für jede Desktop-Anwendung durch intelligente Bildschirmfreigabefunktionen.
Erweiterte Funktionen
Copilot Vision bietet jetzt kontextbezogene Unterstützung für das gesamte Windows-Ökosystem
KI-gestützte Bildschirmanalyse jetzt für alle PC-Anwendungen verfügbar
Ermöglicht interaktives Coaching für komplexe Software wie Adobe Photoshop
Ermöglicht die visuelle Analyse von Fotos, Dokumenten und Webinhalten im gesamten System
Wird derzeit zunächst für Windows-Insider-Tester in den USA eingeführt
Praktische Anwendungen
Interaktive Software-Anleitung
Der verbesserte Copilot Vision erweist sich als besonders wertvoll bei der Unterstützung von technischen Anwendungen. Bei der jüngsten Demonstration von Microsoft war die KI erfolgreich:
- Schritt-für-Schritt-Anweisungen für das Minecraft-Spiel
- Optimierte Einstellungen für die Videobearbeitung in Clipchamp
- Hervorhebung relevanter Oberflächenelemente bei Software-Tutorials

Im Gegensatz zur umstrittenen Recall-Funktion, die periodische Schnappschüsse aufnimmt, funktioniert Copilot Vision eher wie eine dynamische Screen-Sharing-Sitzung, bei der die KI den sichtbaren Inhalt aktiv interpretiert und darauf reagiert, ohne Bilder dauerhaft zu speichern.
Ergänzende Funktionen
Intelligente Dateisuche
Microsoft testet gleichzeitig eine erweiterte Dateisuchfunktion in Copilot, die:
- Indizierung und Erkennung von Dokumenteninhalten in verschiedenen Formaten
- Unterstützt gängige Dateitypen wie Office-Dokumente und PDFs
- hilft bei der Suche nach kürzlich bearbeiteten Dateien durch Abfragen in natürlicher Sprache
Zugänglichkeit und Verfügbarkeit
Plattform-Unterstützung
- Windows 11 (nicht auf Copilot Plus PCs beschränkt)
- Mobile Versionen für iOS und Android
- Anfängliche Beta-Version beschränkt auf US-Tester
- Geplante öffentliche Markteinführung innerhalb weniger Monate
Voraussetzungen für die Implementierung
Für den Zugriff auf die kommenden Copilot-Erweiterungen benötigen die Nutzer lediglich:
- Die Copilot-Standardanwendung für Windows
- Eine aktive Internetverbindung für die Cloud-Verarbeitung
- Aktualisierte Windows 11-Installation
Microsoft geht davon aus, dass die schrittweise Freigabe dieser KI-Funktionen für alle Windows 11-Nutzer im Laufe dieses Jahres nach erfolgreichen Betatests abgeschlossen sein wird.
Ollie setzt auf Datenschutz, um das Rennen um den KI-Assistenten zu gewinnen
Um wirklich hilfreich zu sein, muss ein KI-Assistent seinen Nutzer genau verstehen. Ollie, ein für den Alltag konzipierter persönlicher Assistent, basiert auf der Prämisse, dass dies nicht mit der Wei
So wird die „AI LIVE: London“ KI und industrielle Automatisierung beleuchten
Auf dem Gipfel werden Führungskräfte der obersten Ebene aus aller Welt zusammenkommen, um dringende Herausforderungen in globalen Branchen zu erörtern – von KI-getriebenen Umbrüchen bis hin zu wirtsch
Anthropic tritt in den Markt für KI-gestützte Rechtstechnologie ein, während der Wettbewerb zunimmt
Anthropic hat am Dienstag eine Reihe neuer Chatbot-Funktionen vorgestellt, die darauf abzielen, Rechtsanwaltskanzleien automatisierte Unterstützung zu bieten. Diese Verbesserungen erweitern die bereits zu Jahresbeginn eingeführte, mandantenspezifisch
Also Copilot kann jetzt auch andere Apps erkennen? Das ist ja praktisch! Hoffentlich klappt das besser als die automatische Rechtschreibkorrektur in Word... 😅 Aber mal im Ernst, wenn das wirklich zuverlässig funktioniert, könnte es die tägliche Arbeit echt beschleunigen. Ich frage mich nur, wie das mit Datenschutz aussieht – schließlich 'sieht' die KI dann ja alles auf meinem Bildschirm.





Heim






