Noi Biomarkeri de Tomografie in Coerenta Optica identificati prin Deep Learning pentru Stratificarea Riscului la Pacientii cu Degeneresecnta Maculara Legata de Varsta-DeLArMaD

• Tipărire

Detalii

Accesări: 1605

Denumire proiect: Noi Biomarkeri de Tomografie în Coerență Optică identificați prin Deep Learning pentru Stratificarea Riscului la Pacienții cu Degeneresecnță Maculară Legată de Vârstă

Acronim: DeLArMaD

Competiție: PNCDI III - Program 2 - Subprogram 2.1.

Cod proiect: PN-III-P2-2.1-PED-2021-2709, Contract de finanțare 616PED/2022

Echipa proiectului

Director de proiect: Prof. Dr. Simona Delia Nicoară

Instituție coordonatoare: Universitatea de Medicină și Farmacie "Iuliu Hațieganu" Cluj Napoca

• Prof. Dr. Simona Delia Nicoară- director de proiect
• Dr. George Adrian Muntean – membru doctorand
• Dr. Corina Iuliana Suciu – membru doctorand
• Asist. Univ. Dr. Iulia Andrada Nemeș Drăgan - membru cercetător postdoctoral
• Asist. Univ. Dr. Ioana Damian - membru cercetător postdoctoral

Partener: Universitatea Tehnica Cluj Napoca

• Prof. Dr. Adrian Groza – director de proiect
• Conf. Dr. Anca Mărginean – cercetător cu experiență
• Conf. Dr. Radu Răzvan Slăvescu – cercetător cu experiență
• Conf. Dr. Raluca Brehar - cercetator
• Doctorand - membru doctorand

Buget: 598.795,00 RON, perioada de derulare 23.06.2022-22.06.2024

Rezumat

Degenerescența Maculară Legată de Vârstă (DMLV) este una dintre cele mai frecvente cauze de scădere a vederii la nivel mondial. În Europa, în 2040 se așteaptă ca numărul persoanelor cu DMLV precoce să varieze între 14.9 și 21.5 milioane, iar al celor cu DMLV avansată, între 3.9 și 4.8 milioane. Vederea scăzută afectează sever calitatea vieții populației și exercită o presiune financiară globală enormă. Tomografia în Coerență Optică (OCT) este o metodă imagistică neinvazivă care a revoluționat oftalmologia și a cărei perfecționare constantă a deschis perspective noi în managementul bolilor retinei. Cu toate acestea, numărul mare de persoane cu DMLV necesitând monitorizare OCT încarcă semnificativ practica oftalmologică. Simultan, evoluția Inteligenței Artificiale (IA) a condus la dezvoltarea unor metode capabile să efectueze analize de înalt nivel ale imaginilor și altor date. În consecință, serviciile medicale bazate pe IA sunt in expansiune, cu estimări de $6.6 bn până la finele anului 2021. Scopul acestei cercetări este de a dezvolta instrumente de Deep Learning (DL) pentru o soluție integrată în sprijinul oftalmologului la pacienții cu DMLV. Noutatea medicală rezultă din căutarea unor explicații mai bune privind patogeneza DMLV pe baza tehnicilor de DL. Din cunoștințele noastre, este primul proiect național care aplică tehnicile de DL asupra datelor OCT ale pacienților cu DMLV. Aceștia sunt in evidența Departamentului de Oftalmologie, Universitatea de Medicină și Farmacie Cluj. Tehnologic, noutatea rezultă din invățarea procesului de a prezice evoluția bolii pe baza secvențelor de imagini preluate la vizite succesive și din transmiterea către oftalmolog a explicației care a condus la respectiva concluzie obținută prin IA. Proiectul are un potențial ridicat de a contribui semnificativ la progresul cunoașterii în domeniu, iar rezultatele sale vor crește încrederea în soluțiile de IA în comunitățile științifice, medicale și de pacienți.

Obiectiv

Obiectivul general al acestei cercetări este acela de a dezvolta instrumente de DL pentru a oferi o soluție integrată menită să sprijine luarea deciziilor clinice pentru pacienții cu DMLV. Instrumentele vor ameliora screeningul, diagnosticul și tratamentul cu o înțelegere prin DL a bolii.
Pornind de la ceea ce este deja cunoscut privind patogeneza DMLV, vor fi construite modele DL ale semnelor de DMLV, urmate de identificarea a noi biomarkeri și a corelațiilor dintre aceștia. Aceasta va ameliora predicția evoluției de la un stadiu la altul a bolii și va explica răspunsul la tratament. Scopul este de a asista oftalmologul astfel încât eficiența screeningului, consistența și acuratețea diagnosticului să crească, în paralel cu reducerea stresului evaluărilor recurente în timpul perioadelor de tratament și de a îmbunătăți schemele de tratament individuale, atingându-se obiectivul medicine de precizie.

Obiective specifice

Cercetarea are următoarele obiective specifice:

1. Antrenarea și evaluarea screeningului efectuat pe baza DL
2. Antrenarea, evaluarea și explicarea diagnosticului pe baza DL, a aspectelor normale și cu diferite stadii de DMLV: precoce, intermediar sau avansat
3. Antrenarea, evaluarea și explicarea pe baza DL a predicției conversiei de la DMLV intermediară la DMLV avansată
4. Evaluarea eficienței tratamentului
5. Dezvoltarea unei planificări pentru injecțiile cu anti-VEGF
6. Identificarea unor noi biomarkeri și a relației lor cauzale cu DMLV.

Etape

Etapa 1. Inițierea dezvoltării prin DL a unor unor modele pentru date momentane și secvențiale la pacienții cu DMLV, în scop de screening, diagnostic și apreciere a momentului conversiei spre forma avansată de boală – data etapă 31.12. 2022

Scopul acestei cercetări este de a dezvolta instrumente de deep learning (DL) pentru o soluție integrată care să sprijine luarea deciziilor la pacienții cu degenerescență maculară legată de vârstă (DMLV). Instrumentele ar trebui să amelioreze screeningul, diagnosticul și tratamentul, având o înțelegere DL a bolii.

A fost inițiată proiectarea, implementarea și evaluarea modelelor de DL pentru screening, diagnostic și riscul de conversie. Sunt construite două tipuri de modele: single-time care iau decizia bazându-se pe datele de la o singură vizită a pacientului și modele secvențiale în care decizia presupune date din istoric. Aceste modele urmează a fi îmbunătățite pe baza feedback-ului obținut în etapele ulterioare ale cercetării.

Urmărirea progresiei DMLV și prezicerea acuității vizuale

Am demonstrat că rezultatele cele mai bune de predicție pentru acuitatea vizuală depind de numărul vizitelor și caracteristicile utilizate pentru predicții. Algoritmii shallow machine learning (ML) s-au comportat surprinzător de bine în acest caz, chiar mai bine decât metodele mai avansate precum deep neural networks.

Segmentarea retinei

Spre deosebire de abordările ML end-to-end, sistemul propus permite expertului uman să intervină după fiecare pas automatizat. Intervenția umană include validarea reglajului fin al segmentării automate. În acord cu criteriile de design susținute de explainable AI (XAI), această abordare oferă mai mult control și transparență, precum și o perspectivă mai globală asupra procesului de segmentare. În contextual numeroaselor sisteme disponibile de segmentare black box, apreciem că această interacțiune cu expertul uman constituie principalul avantaj al sistemului.

La momentul actual, ne concentrăm atenția asupra extragerii informațiilor de la nivelul cazurilor la care agentul uman ajustează parametrii metodei noastre de segmentare. Planificăm să utilizăm această informație pentru a alimenta algoritmii noștri cu scopul manipulării superioare a imaginilor complicate de tomografie în corerență optică (OCT).

Am dezvoltat un sistem multi-agent pentru afecțiunile retinei în care deciziile algoritmice sunt susținute de explicații. Instrumentul propus completează majoritatea softurilor din domeniul medical care se concentrează doar pe valorile de performanță. Abordarea noastră ajută auditorul tehnic să aprobe un software din domeniul medical. Intercalarea cunoștințelor extrase din modelele ML cu cunoștințele de specialitate este un pas către echilibrarea beneficiilor ML cu explicabilitatea, având ca scop proiectarea de aplicații medicale fiabile.

Etapa 2. Elaborarea și interpretarea modelelor DL pentru date momentane și secvențiale la pacienții cu DMLV. Elaborarea de module pentru evaluarea tratamentului și formularea de recomandări terapeutice – data etapă 31.12.2023

1. A fost continuată elaborarea studiilor și protocoalelor prin definirea metodologiei de colectare a observațiilor oftalmologice prin decizii bazate pe DL.
2. Au fost elaborate modele pe baza DL pentru date momentane și secvențiale într-o manieră interativă
3. Au fost interpretate modelele de DL
4. Au fost elaborate module pentru evaluarea tratamentului si formularea de recomandări
5. Diseminare

Participări la manifestări științifice naționale și internaționale:

• 22nd International Semantic Web Conference (ISWC 2023), 06.11.2023, Atena, Grecia
• 24th International Conference on Control Systems and Computer Science. 24-26 mai, București, România
• International Conference on Intelligent Computer Communication and Processing, ICCP23., 26-28.10.2023, Cluj-Napoca, România
• 25th International Symposium on Symbolic and Numeric Algorithms for Scientific Computing, 11 – 14.09.2023, Nancy, Franța
• 10th International Conference on Artificial Intelligence & Applications, 28-29.10.2023, Viena, Austria
• 24th International Symposium on Symbolic and Numeric Algorithms for Scientific Computing, 12 – 15.09.2023, Hagenberg/Linz, Austria

Publicații în reviste ISI:

• GA Muntean, A Groza, Anca Marginean, RR Slavescu, MG Steiu, V Muntean, and Simona Delia Nicoara. Artificial intelligence for personalized ophthalmology residency training. Journal of Clinical Medicine, 12(5), 2023
• G.A. Muntean, A. Marginean, A. Groza, S.A. Damian, I. Roman, M.V.Muntean, S.D Nicoara. The predictive capabilities of artificial intelligence-based oct analysis for age-related macular degeneration progression—a systematic review. Diagnostics, 13(14), 2023
• Advanced ImageJ Analysis in Degenerative Acquired Vitelliform Lesions Using Techniques Based on Optical Coherence Tomography, Ioana Damian, GA Muntean, Larisa Bianca Galea-Holhos, Simona Delia Nicoara, Biomedicines, 11(5), 2023.

Etapa 3. Modele DL interpretate și validate clinic pentru date momentane și secvențiale la pacienții cu DMLV. Module pentru evaluarea calității tratamentului și a programului de injecții din perspectiva medicală – data etapă 22.06.2024

Rezultate obținute în proiect Etapa 3/2024

Seturi de date oftalmologice dezvoltate în cadrul proiectului

ReziOCT - 10, 592 imagini fund de ochi clasificate in 39 de clase preluate din seturi de date publice (ODIR, RFMID, JSIEC). Adnotările au fost aliniate de către medic specialist oftalmolog

BioMs DR  - 2660 imagini OCT de la 52 de pacienți cu informații despre prezența unuia sau mai multor biomarkeri ai retinopatiei diabetice: edem în 1615, detașare în 330, foci hiperreflectivi în 2096, respectiv 510 imagini cu aspect sănătos.

Causal AMD - 70 rezumate ale articolelelor stiintifice legate de DMLV (numar mediu de cuvinte 350). Rezumatele au fost adnotate cu ajutorul uneltei Prodigy cu 9 relatii cauzale si entitatile denumite corespunzatore

DMLV FollowUp - Contine valorile acuitatii vizuale la 98 de pacienti la 4 vizite succesive LT FU0, LT FU +3, LT FU6, respectiv LT FU +12 luni. Pentru fiecare pacient sunt colectate 16 caracteristici (e.g. sex, varsta, mediu, ocupatie, severitate OD, severitate OS, vitrectomie.

Diseminarea rezultatelor cercetarii

A. A. Groza - Eyes on AI - Progress and Innovation in Ophthalmology, Cluj-Napoca, 6 Decembrie 2023

A. A. Mărginean - Enhancing OCT and Eye Fundus Image Interpretation with Deep Learning - Progress and Innovation in Ophthalmology, Cluj-Napoca, 6 Decembrie 2023

R.R. Slăvescu - Detection of nAMD using Transformer Architectures - Preliminary Experiments - Progress and Innovation in Ophthalmology, Cluj-Napoca, 6 Decembrie 2023

A. A. Groza - Interleaving machine learning with reasoning for identifying retinal conditions - Smart Diaspora 2023, Workshop “Abordări orientate către om pentru Inteligența Artificială de încredere” (Trust-AI), 10-13 Aprilie 2023, Timișoara

A. A. Groza - Interleaving machine learning with reasoning for identifying retinal conditions - Aplicații ale Inteligenței Artificiale în Medicină (AIAM), 30 Martie 2023, București

R.R. Slăvescu - Alocarea cazurilor la medicii rezidenți - Zilele UMF Cluj-Napoca, 5 Decembrie 2022

A. A. Groza - Artificial Intelligence in Ophthalmology - RePatriot, Inteligența Artificială aplicată în domeniul sănătății, 21 Noiembrie, 2022

A. Groza - Ongoing Research - Intelligent Systems Group Transilvania Digital Innovation Hub, Cluj Napoca

S.D. Nicoară - Incorporation of an AI Tool in the Identification Process of OCT Biomarkers in DME – Preliminary Results - Euretina 2024, Barcelona, 19 – 22 sept.

Diseminarea către societate și public

La finalul proiectului (Mai 2024) am organizat două evenimente de diseminare a rezultatelor către public. Modulul de reconstrucție 3D a neovascularizației în imagini AngioOCT pentru NAMD a fost prezentat la Noaptea Muzeelor, 24 Mai 2024, HUB UTCN, Cluj-Napoca. Modulul de clasificare a afecțiunilor retinei pe baza imaginilor de tip fund de ochi a fost prezentat în cadrul evenimenutlui public AI@UTCN, deschis către public, eveniment diseminat și pe platformele X și Instagram.

Diseminarea rezultatelot prin publicații în reviste de specialitate și în volume ale manifestărilor științifice

1. Ioana Damian, George-Adrian Muntean, Larisa-Bianca Galea-Holhos, , and Simona-Delia Nicoara. Advanced ImageJ Analysis in Degenerative Acquired Vitelliform Lesions Using Techniques Based on Optical Coherence Tomography. Biomedicines, 11(5):1382, 2023.

2. G.A. Muntean, A. Marginean, A. Groza, I. Damian, S.A. Roman, M.C. Hapca, M.V. Muntean, and S.D Nicoara. The Predictive Capabilities of Artificial Intelligence-Based OCT Analysis for Age-Related Macular Degeneration Progression—A Systematic Review. Diagnostics, 13(14), 2023.

3. George Adrian Muntean, Adrian Groza, Anca Marginean, Radu Razvan Slavescu, Mihnea Gabriel Steiu, Valentin Muntean, and Simona Delia Nicoara. Artificial Intelligence for Personalised Ophthalmology Residency Training. Journal of Clinical Medicine, 12(5), 2023.

4. George Adrian Muntean, Anca Marginean, Adrian Groza, Ioana Damian, Sara Alexia Roman, Madalina Claudia Hapca, Anca Madalina Sere, Roxana, Mihaela Manoiu, Maximilian Vlad ˘ Muntean, and Simona Delia Nicoara. Qualitative Evaluation of ChatGPT4 and PALM2’s Response to Patient’s Questions Regarding Age-related Macular Degeneration. Diagnostics, page under review, 2024.

5. Corina Iuliana Suciu, Anca Marginean, Vlad-Ioan Suciu, George Adrian Muntean, and Simona Delia Nicoara. Diabetic Macular Edema Optical Coherence Tomography Biomarkers Detected with EfficientNetV2B1 and ConvNeXt. Diagnostics, 14(1):76, 2024.

6. Corina-Iuliana Suciu, Vlad-Ioan Suciu, and Simona Delia Nicoara. Optical Coherence Tomography Measurements in Type 1 Diabetic Subjects with Low and Moderate Daily Physical Activity. Romanian Journal of Ophthalmology, 67(4):337, 2023.

7. Radu Razvan Slavescu and Sergiu Alexandru Gaga. Vision Transformers: A Promising Pathway to Retinal Semantic Segmentation. In Int. Conf. on Intelligent Computer Communication and Processing - in review, ICCP24. IEEE, 2024.

8. Radu Razvan Slavescu, Marina Bianca Trif, and Kinga Cristina Slavescu. Detecting fake medical content with Transformers. In 26th International Symposium on Symbolic and Numeric Algorithms for Scientific Computing - in review, SYNASC, 2024.

9. Marco Pop-Mihali and Adrian Groza. Forest Mixing: investigating the impact of multiple search trees and a shared refinements pool on ontology learning. In David Wyld et al., editor, 10th International Conference on Artificial Intelligence & Applications, ARIA23. AIRCC, 2023.

10. Eugen Popescu, Adrian Groza, and Damian Ioana. Detecting Diabetic Retinopathy through Fundus Images using an Ensemble of classifiers. In 11th International Conference on Advanced Technologies, ICAT23, 2023.

11. Dan Lupu, Groza Adrian, and Adam Pease. Cross-validation of Answers with SUMO and GPT. In Knowledge Base Construction from Pre-Trained Language Models, KBC-LM@ 22nd International Semantic Web Conference (ISWC 2023). COEU, 2023.

12. Anca Marginean, Vesa Bianca, Simona Delia Nicoara, and George Muntean. Low-dimensional Representation of OCT Volumes with Supervised Contrastive Learning. In 2022 IEEE 18th International Conference on Intelligent Computer Communication and Processing (ICCP), pages 47–54. IEEE, 2022.

13. Anca Marginean, George Adrian Muntean, Alexandra Ioana Bucur, and Simona Delia Nicoara. Exploring Early Estimation of Treatment Needs for Age-Related Macular Degeneration Patients Using Easily Generated Features. In 25th International Symposium on Symbolic and Numeric Algorithms for Scientific Computing, SYNASC23, 2023.

14. Beatrice-Andreea Marginean, Adrian Groza, George Muntean, and Simona Delia Nicoara. Predicting Visual Acuity in Patients Treated for AMD. Diagnostics, 12(6):1504, 2022.

15. Patricia Mateiu and Adrian Groza. Ontology engineering with Large Language Models. In 25th International Symposium on Symbolic and Numeric Algorithms for Scientific Computing, SYNASC23, 2023.

Prezentare succintă a rezultatelor obținute în cadrul proiectului

În cadrul acestui proiect care a adus laolaltă medici oftalmologi și specialiști în inteligența artificială, aflați în diferite etape de pregătire profesională (cercetători cu experiență, dar și tineri la început de carieră), am urmărit dezvoltarea unui instrument de inteligență artificială menit să asiste medicul oftalmolog în diagnosticarea, urmărirea evoluției, stabilirea indicației de tratament și monitorizarea persoanelor cu degenerescență maculară legată de vârstă, principala cauză de orbire la nivel mondial, fiind o problemă importantă de sănătate publică, dată fiind creșterea speranței de viață a populației.

Modelele de inteligență artificială dezvoltate pot face diferența dintre bolnav și sănătos, pot identifica pacienții cu risc crescut să dezvolte o formă de boală tratabilă cu injecții intraoculare și pot prevedea evoluția vederii.

Proiectul nostru are și o componentă educațională, prin conceperea unui sistem personalizat de pregătire a rezidenților oftalmologi. Am elaborat și aplicat un sistem de repartizare a cazurilor și de evaluare a medicilor rezidenți, cu scopul expunerii lor la toate tipurile de boli cu care se pot confrunta în practica clinică.
Proiectul a dechis căi de colaborare cu alte instituții din domeniul public și privat, concretizate prin elaborarea unor propuneri de proiecte în echipe multidisciplinare (medici, specialiși IT), dintre care unele au fost deja aprobate spre finanțare.

Contact

Simona Delia Nicoară, Profesor, Doctor în Medicină
Department Oftalmologie, Universitatea de Medicină și Farmacie “Iuliu Hațieganu”, Cluj-Napoca, România
E-mail:  

Adrian Groza, Profesor, Ph.D.
Computer Science Department, Technical University of Cluj-Napoca
Cluj-Napoca, Romania
https://users.utcluj.ro/~agroza/