Das Team der Great Bay University hat PhysMamba vorgestellt, ein innovatives KI-Framework zur Messung der Herzfrequenz und verwandter physiologischer Signale durch Gesichtsvideos. Diese wichtige Innovation in der Remote-Photoplethysmographie (rPPG) bietet eine berührungslose Methode zur Gesundheitsüberwachung, die neue Möglichkeiten für unmittelbare medizinische und Wellness-Anwendungen eröffnet.
PhysMamba unterscheidet sich von früheren rPPG-Methoden, die hauptsächlich auf Convolutional Neural Networks (CNNs) und Transformers basierten. Diese traditionellen Messmethoden hatten oft Schwierigkeiten, die wesentlichen zeitlichen Abhängigkeiten über große Entfernungen hinweg, die für die Herzfrequenzmessung entscheidend sind, genau zu erfassen, insbesondere bei längeren Videosequenzen. PhysMamba löst diese Hindernisse, indem es neben einer Dual-Stream-SlowFast-Architektur einen hochmodernen Temporal Difference Mamba (TD-Mamba)-Block einführt. Auf diese Weise verarbeitet das Modell effektiv kurz- und langfristige zeitliche Merkmale und erhöht so seine Genauigkeit bei der Erkennung präziser physiologischer Signale. Sie können den Artikel lesen Hier.
Durch eine Reihe detaillierter Experimente mit Benchmark-Datensätzen, darunter PURE, UBFC-rPPG und MMPD, zeigte PhysMamba beeindruckende Fortschritte im Vergleich zu aktuellen Modellen. Dies führte zu geringeren Fehlerraten und einer höheren Genauigkeit bei der Herzfrequenzschätzung. Das innovative Framework übertraf typische CNN- und Transformer-Modelle deutlich und war besonders effektiv in realen Situationen, die von Lichtschwankungen und Gesichtsbewegungen beeinflusst wurden.
Diese neue Version eines KI-Modells, das im CCBR 2024 vorgestellt wird, ist eine entscheidende Entwicklung in der nichtinvasiven physiologischen Überwachung. Das Forschungsteam hat der Code für PhysMamba auf GitHub und bietet Möglichkeiten für weitere Forschung und Entwicklung in diesem spannenden Bereich der Computervision und Gesundheitstechnologie.
