STEER - Kohorte birtualak, testuak baldintzatutako irudi medikoak sortuz

Testuingurua

Imajinatzen duzu adimen artifizialeko tresna bat ordenagailu bidezko tomografia sintetikoak sortzeko gai dena, ezaugarri espezifikoen, ezaugarri klinikoen edo testu-sarrerek zuzendutako afekzioen arabera?

STEERen helburua testuan oinarritutako irudi medikoak sortzeko tresna bat garatzea eta baliozkotzea da. Irudiak sortzeko prozesua gidatzeko ezaugarri klinikoak eta fenotipoak sar daitezke.

Erronka teknologikoak

1. Irudi naturaletarako garatutako tresnak eremu medikora egokitzea

2. Sortutako irudien eta horien intentsitate-balioen zuzenketa anatomikoa baliozkotzea, ehunen propietate fisikoen arabera

3. Sortutako irudietan testu-adierazpenak duen eragina ezagutzea

4. Irudi medikoetarako testu bidez baldintzatutako hedapen-ereduak inplementatzea, irudi naturalak sortzeko pipeline bat grisen eskalako irudi medikoak sortzera egokituz.

Metodologia:

STEERSentzat, irudi medikoetarako testu bidez baldintzatutako hedapen-ereduak inplementatzen dira, irudi naturalak sortzeko pipeline bat grisen eskalako irudi medikoak sortzera egokituz.

Emaitza teknikoak:

Proiektuaren azken urratsa abisuak sortzeko modulua eta web aplikazio bateko testu bidez gidatutako irudiak sortzeko lerro oso batean entrenatutako hedapen-eredu egonkorra integratzea izan da. Sarrerako txosten erradiologiko batetik abiatuta, abisuak sortzeko moduluak erakunde garrantzitsuak ateratzen ditu, eta hedapen egonkorreko eredua entrenatzeko erabiltzen direnen moduko ohar bat eraikitzen du. Zarata gaussiarra duen irudi batetik abiatuta, irudiak sortzeko prozesua gidatzen du testuak, irudi sintetiko bat sortzeko trebatutako hedapen-eredua erabiliz. Amaierako irudia lan honetan proposatzen ditugun ohiko baliozkotze-metriken bidez ebalua daiteke.

Web-aplikazioak bi modutan funtzionatzen du:

• Erabiltzaile moduan: Modu hau azken erabiltzaile baten esperientzia simulatzeko diseinatuta dago, erradiologo bat bezala, txosten erradiologiko bat kargatzeko aukera emanez. Kargatutako txostenetik abiatuta, testu-mezu bat sortzen da automatikoki. Erabiltzaileak kontrolatu dezake zer erakunde sartzen diren galderan, hala nola sexua, adina, hepatopatia eta tumorearen tamaina (txostenean eskuragarri badaude). Ondoren, sortu beharreko irudien kopurua zehaztu dezake erabiltzaileak, eta parametro batzuk doitu, sortze-prozesua gidatzeko. Sortutako irudi sintetikoak banaka edo loteka deskarga daitezke, eta Frecheten hasierako distantziaren, egitura anitzeko antzekotasun-indizearen eta proposatutako gure metrikaren bidez ebaluatu.
• Ikertzaile Moduan: Modu hau ikertzaileentzat diseinatuta dago eta hainbat modelo trebaturekin esperimentatzeko aukera eskaintzen du. Txosten erradiologiko bat kargatzeaz gain, erabiltzaileak eskuz sar dezake testu pertsonalizatu bat irudi sintetikoak sortzeko. Erabiltzaile moduan bezala, sortutako irudiak deskargatu eta ebaluatu egin daitezke.

Emaitza Zientifikoak:

• Txurio, M.S. et al. (2023). Modelos de difusión para la generación de imágenes realistas de TC. Innovación en Medicina y Salud. KES InMed 2023. Smart Innovation, Systems and Technologies, vol 357
• Platas, A. et al. (2024). Synthetic Annotated Data for Named Entity Recognition in Computed Tomography
• Tomography Scan Reports. Aceptado en las actas de SEPLN 2024.
• Martínez-Arias, P. et al (2024). Text-conditioned abdominal CT slice generation using stable diffusion. Aceptado en actas MICAD 2024.

Aplikazioak

Saiakuntza klinikoak (adibidez, gailu medikoen sektorea - inplanteak), ikerketa biomedikoa (datuak trukatzeko arazoak saihestea), ikasketa sakoneko ereduak garatzeko datuak gehitzea.

Ikusi bideoa Youtuben