Die deutsche Patentanmeldung von Apple bezieht sich auf Eye-Tracking-Technologie für zukünftige HMDs, Kontaktlinsen und das HUD+-System eines Fahrzeugs

Apple hat heute früh eine Patentanmeldung von Apple beim Deutschen Patentamt entdeckt, die am 5. Januar 2023 veröffentlicht wurde. Die Patentanmeldung bezieht sich auf die Blickverfolgungstechnologie, die in Apples zukünftigen Mixed-Reality-Headsets, Projektionssystemen in einem Auto-HUD, verwendet werden könnte System Oder sogar mit Kontaktlinsen. Genauer gesagt bezieht sich das Apple-Patent auf computerlesbare Systeme, Verfahren und Medien zur Optimierung und Erleichterung von Eye-Tracking-Daten, um die Leistung von Eye-Tracking-Technologien zu verbessern. Vier von sechs Erfindern Er kam 2015 mit der Übernahme der deutschen Metaio zu Apple. Metaio ist einer der weltweit führenden Anbieter von Augmented-Reality- und Hologramm-Technologien.

Apple stellt fest, dass bei einem oder mehreren Modellen die Position der Pupille innerhalb eines vorbestimmten Bereichs gehalten wird. Die Linse, durch die die Pupille beobachtet wird, kann einen vorbestimmten, bekannten Kalibrierungsbereich haben, während andere Bereiche der Linse weniger kalibriert sein können. Daher muss die Position der Pupille innerhalb des kalibrierten Bereichs gehalten werden.

Bei einer oder mehreren Ausführungsformen befindet sich die Pupille anfänglich relativ zu der Linse vor dem Auge. Eine Änderung der Position der Pupille in Bezug auf die Linse kann in einer aktualisierten Pupillenposition in Bezug auf die Linse erfasst werden. Wenn der Ort der aktualisierten Pupille außerhalb des festgelegten Begrenzungsrahmens liegt, zB einem Kalibrierungsbereich zugeordnet ist, wird der alternative Pupillenort innerhalb des Begrenzungsrahmens bestimmt. Der aktualisierte Pupillenort wird dann für Augenverfolgungstechniken verwendet.

In einigen Ausführungsformen kann das Jitter-Vermeidungs-Eye-Tracking-System die Pupillenposition über eine Reihe von Einzelbildern ändern, so dass sich die Pupillenposition von der ursprünglichen Pupillenposition zu der alternativen Pupillenposition verschiebt, beispielsweise basierend auf einer zeitabhängigen Erfassungsfunktion .

In einer oder mehreren Formen wird die Position der Pupille innerhalb eines vorbestimmten Bereichs gehalten. Die Linse, durch die die Pupille beobachtet wird, kann einen vorbestimmten, bekannten Kalibrierungsbereich haben, während andere Bereiche der Linse weniger kalibriert sein können. Daher muss die Position der Pupille innerhalb des kalibrierten Bereichs gehalten werden.

Bei einer oder mehreren Ausführungsformen befindet sich die Pupille anfänglich relativ zu der Linse vor dem Auge. Eine Änderung der Position der Pupille in Bezug auf die Linse kann in einer aktualisierten Pupillenposition in Bezug auf die Linse erfasst werden. Wenn der Ort der aktualisierten Pupille außerhalb des festgelegten Begrenzungsrahmens liegt, zB einem Kalibrierungsbereich zugeordnet ist, wird der alternative Pupillenort innerhalb des Begrenzungsrahmens bestimmt.

Der aktualisierte Pupillenort wird dann für Augenverfolgungstechniken verwendet. In einigen Ausführungsformen kann das Jitter-Vermeidungs-Eye-Tracking-System die Pupillenposition über eine Reihe von Einzelbildern ändern, so dass sich die Pupillenposition von der ursprünglichen Pupillenposition zu der alternativen Pupillenposition verschiebt, beispielsweise basierend auf einer zeitabhängigen Erfassungsfunktion .

Apple-Patent Abb. Abbildung 1A-B unten zeigt Beispiele für Strukturdiagramme für das Verfahren zur Augenverfolgung und Pupillenlokalisierung.

Zusätzlich zur deutschen Patentanmeldung von Apple stellen sie fest, dass ein elektronisches Gerät, wie beispielsweise ein Mixed-Reality-Headset (HMD), eine oder mehrere Kameras oder andere Sensoren, wie beispielsweise einen Tiefensensor, enthalten kann, die die Tiefe einer Szene bestimmen können. Bei einem oder mehreren Modellen kann jede der Kameras eine herkömmliche RGB-Kamera oder Tiefenkamera sein. Darüber hinaus können die Kameras eine Stereokamera oder ein anderes Mehrkamerasystem, ein Time-of-Flight-Kamerasystem oder eine ähnliche Bildaufnahme umfassen, aus der Tiefeninformationen für eine Szene bestimmt werden können.

Bei einigen Modellen können eine oder mehrere Kameras zur Blickverfolgung verwendet werden. Das HMD kann dem Benutzer ermöglichen, mit den XR-Umgebungen zu interagieren. Es gibt viele verschiedene Arten von elektronischen Systemen, die es einer Person ermöglichen, verschiedene XR-Umgebungen wahrzunehmen und/oder mit ihnen zu interagieren.

Beispiele sind kopfmontierbare Systeme, projektionsbasierte Systeme, Head-up-Displays (HUDs), Autowindschutzscheiben mit integrierter Projektionsfunktion, Fenster mit integrierter Projektionsfunktion, Sie sind wie Linsen geformt, die dazu bestimmt sind, über den Augen einer Person getragen zu werden (z. B. ähnliche Kontaktlinsen).

Weitere Einzelheiten finden sich in der deutschen Patentanmeldung DE102022116074 von Apple mit dem Titel „AUGENVERFOLGUNGSDATENFILTERUNG“.

Apple-Erfinder

• Tobias Eble: Leiter Softwareentwicklung (ehemaliger Arbeitgeber: Metaio)
• Hariprasad Puthukkootil Rajagopal: Senior Software Developer (Ehemaliger Arbeitgeber: Metaio)

• Andreas Gapel: Leiter Softwareentwicklung (ehemaliger Arbeitgeber: Metaio)
• Ritesh Gangadhar Cholapur: Softwareingenieur. (Ehemaliger Angestellter Waffel)
• Jacob Wilson: Softwareingenieur