Pre-screening za pomocą ML-a z nagrania kaszlu

[osoftware]

Wykorzystanie modelu, którego wyniki zostały wczoraj opublikowane przez IEEE, mogłoby radykalnie podnieść skuteczność aplikacji w walce z pandemią.

https://ieeexplore.ieee.org/document/9208795

Słaba swoistość modelu nie pozwala na zastąpienie testów PCR, ale można go wykorzystać w celu podejmowania decyzji, kogo w pierwszej kolejności testować, zaś sama funkcja wstępnej diagnozy z pewnością zachęciłaby więcej osób do instalacji.

[pkleczko]

Pomysł super, podstawowe pytanie brzmi czy cały processing wraz z potrzebnym do tego data setem da się przeprowadzić na telefonie i jakie zasoby byłyby do tego potrzebne. Przesyłanie nagrań na serwer, nawet jeśli dobrowolne mogłoby rodzić zastrzeżenia co do prywatności i rodziło wątpliwości kto i jak przetwarza nagrania. Myślę, że wszelkie pomysły i próby zbudowania rozwiązania przez społeczność tutaj i dodania do aplikacji lub jako osobna w pełni niezależna aplikacja, która może na poziomie samego telefonu mogłaby przekazać taką informację lokalnie do aplikacji STOP COVID - ProteGO Safe spotkała by się z przychylnym odbiorem.

[KoderFPV]

Ciekawe czy dałoby się to zaimplementować w JS / kotlin / Swift żeby działo się to lokalnie ;)

[miklobit]

Ciekawe czy dałoby się to zaimplementować w JS / kotlin / Swift żeby działo się to lokalnie ;)

To chyba jest najmniejszy problem. Np. https://www.tensorflow.org/js
Większy jest taki że na razie to tylko publikacja i nie widzę żeby razem z nią udostępniali swój wytrenowany model albo chociaż zbiór próbek.

[KoderFPV]

@miklobit
Wiem że tensorflow jeszcze nie dawno raczkował. Głównym problemem była wydajność, pewnie teraz jest lepiej.
No ale bez próbek ani modelu to i tak na nic.

Oprócz samego modelu, dojdzie też implementacja konwersji danych z audio do danych które potrzebuje model.

Myśle że niedługo takie coś będzie na jakiejś stronie. Chrome ma dostęp do mikorofnu a to chyba wystarczy. O ile tenserflow działa w przeglądarce, a nie tylko na node, chociaz i tutaj można by postawić serwer a tylko zwracać wyniki :)