ARS
ultimi risultati
Il progetto ARS nasce con l’ambizioso obiettivo di definire un framework per l’autonomia robotica nel contesto della chirurgia.
Ovvero come abilitare un dispositivo artificiale quale è un robot, ad interagire, e a volte, sostituire un essere umano in un compito difficile e delicato come la chirurgia. Per rendere gestibile il progetto, lo sviluppo iniziale è stato organizzato secondo cinque principali direttrici di ricerca, ovvero gli obiettivi del progetto, che rappresentano i principali pilastri dell’autonomia:
1. LA RAPPRESENTAZIONE FORMALE DI UN INTERVENTO CHIRURGICO
Il primo obiettivo è stato raggiunto sviluppando un metodo di rappresentazione basato su regole logiche e collegando questa rappresentazione con la descrizione testuale degli interventi che si trova nei libri di testo di chirurgia.
2. COME PIANIFICARE UN INTERVENTO ROBOTICO
Il secondo obiettivo è stato raggiunto ideando metodi di apprendimento che raffinano e personalizzano una procedura per un dato ambiente anatomico.
3. COME CONTROLLARE I MOVIMENTI DEL ROBOT
Il terzo obiettivo porta all’affinamento dei metodi per apprendere le primitive di movimento di ogni azione chirurgica. La consapevolezza chirurgica è ottenuta tramite una combinazione di simulazione, che rappresenta la comprensione a priori dell’intervento, e feedback del sensore che fornisce al robot i dati quantitativi sull’ambiente, ovvero dove sono gli strumenti rispetto agli organi, quali sono i punti fissi del anatomia, quali sono gli organi soggetti a moti biologici, ecc.
4. COME DARE A UN ROBOT LA CONSAPEVOLEZZA DELLE SUE AZIONI e 5. COME DIMOSTRARE LE CAPACITÀ DEL DISPOSITIVO IN AMBIENTI REALISTICI
Una prima integrazione di questi risultati è stata dimostrata a metà progetto con l’esecuzione autonoma del peg and ring task, direttamente confrontabile con come un chirurgo in formazione esegue lo stesso compito. Stiamo ora integrando ulteriormente tutti questi metodi nella simulazione di un intervento sui reni, più clinicamente rilevante rispetto alle dimostrazioni fatte finora.
1.
La rappresentazione formale di un intervento chirurgico
Estrarre conoscenza dal testo, Marco Bombieri, Ph.D.
La chirurgia mininvasiva assistita da robot è il gold standard per il trattamento chirurgico di molte condizioni patologiche e diversi manuali e documenti accademici descrivono come eseguire questi interventi. Questi testi di alta qualità, spesso sottoposti a revisione paritaria, sono la principale risorsa di studio per il personale medico e di conseguenza contengono conoscenze procedurali essenziali specifiche del dominio.
Le conoscenze procedurali ivi descritte potrebbero essere estratte e utilizzate per sviluppare sistemi di supporto alle decisioni cliniche o anche metodi di automazione per alcune fasi della procedura.
Tuttavia, gli algoritmi di comprensione del linguaggio naturale come, ad esempio, gli etichettatori di ruoli semantici hanno problemi di efficacia e copertura inferiori se applicati a domini diversi da quelli su cui sono generalmente addestrati (ad esempio, il testo di newswire).
La Robotic Surgery Procedural Framebank
Per superare questo problema, partendo dai frame PropBank, proponiamo una nuova risorsa linguistica specifica per il dominio della chirurgia robotica, denominata Robotic Surgery Procedural Framebank (RSPF).
Estraiamo dai testi robotici-chirurgici verbi e nomi che descrivono azioni chirurgiche ed estendiamo i frame PropBank aggiungendo qualsiasi nuovo lemma, frame o set di ruoli necessari per coprire i lemmi mancanti, frame specifici che descrivono il significato chirurgico o nuovi ruoli semantici utilizzati nella chirurgia procedurale linguaggio.
La nostra risorsa è disponibile pubblicamente e può essere utilizzata per annotare i corpora nel dominio chirurgico per addestrare e valutare i sistemi Semantic Role Labeling (SRL) in un contesto di dominio a grana fine impegnativo.
- Natural Language Processing 90%
- Ontologies and semantics 80%
- Language extraction 90%
2.
Come pianificare un intervento robotico
Un modello matematico dell’intervento, Michele Ginesi, Ph.D.
Dynamic Movement Primitives
L’automazione totale e parziale della chirurgia robotica minimamente invasiva promette di migliorare il trattamento del paziente, ridurre i tempi di recupero e ridurre l’affaticamento dei chirurghi. Tuttavia, per raggiungere questo obiettivo ambizioso, è necessario un modello matematico dell’intervento.
Proponiamo di utilizzare le Dynamic Movement Primitives (DMP) per codificare i gesti che un chirurgo deve eseguire per portare a termine un compito.
Le DMP consentono di apprendere una traiettoria, imitando così la manualità del chirurgo, e di eseguirla consentendo di generalizzarla sia spazialmente (a nuove posizioni di partenza e di arrivo) che temporalmente (a diverse velocità di esecuzione).
Inoltre, hanno altre proprietà desiderabili che li rendono adatti per applicazioni chirurgiche, come l’adattabilità online, la robustezza alle perturbazioni e la possibilità di implementare l’evitamento degli ostacoli.
Proponiamo varie modifiche per migliorare lo stato dell’arte del framework, nonché nuovi metodi per gestire gli ostacoli. Inoltre, convalidiamo l’utilizzo delle DMP per modellare i gesti automatizzando un’attività chirurgica e utilizzando le DMP come generatore di traiettoria di basso livello.
- Mathematical model 90%
- Dynamic Movement Primitives 80%
- Library of actions and gestures 90%
Segmentazione senza supervisione dell’esecuzione dei compiti in gesti
Nella seconda parte della nostra ricerca, introduciamo il problema della segmentazione non supervisionata dell’esecuzione dei compiti nei gesti. Introdurremo modelli a variabili latenti per affrontare il problema, proponendo ulteriori sviluppi per combinare tali modelli con la teoria DMP. Esamineremo il modello di Markov nascosto auto-regressivo (AR-HMM) e lo testeremo su set di dati relativi alla chirurgia. Quindi, proporremo una generalizzazione dell’AR-HMM alla dinamica generale, non lineare, mostrando che ciò si traduce in una segmentazione più accurata, con una sovrasegmentazione meno grave.
Infine, proponiamo un’ulteriore generalizzazione dell’AR-HMM che mira a integrare una dinamica simile a DMP nel modello a variabile latente.
3.
Come controllare i movimenti del robot
Simulazione paziente-specifica per chirurgia autonoma, Eleonora Tagliabue, Ph.D.
Un Sistema Chirurgico Robotico Autonomo (ARSS) deve interagire con il complesso ambiente anatomico, che si sta deformando e le cui proprietà sono spesso incerte. In questo contesto, un ARSS può trarre vantaggio dalla disponibilità di una simulazione dell’anatomia specifica per il paziente. Ad esempio, la simulazione può fornire un ambiente sicuro e controllato per la progettazione, il test e la convalida delle capacità autonome. Inoltre, può essere utilizzato per generare grandi quantità di dati specifici del paziente che possono essere sfruttati per apprendere modelli e/o compiti.
Lo scopo di questo lavoro di ricerca è di indagare i diversi modi in cui la simulazione può supportare un ARSS e di proporre soluzioni per favorirne l’utilizzo nella chirurgia robotica.
In che modo la simulazione può supportare l’ARSS e il suo utilizzo nella chirurgia robotica?
Mostriamo che la simulazione può essere utilizzata per addestrare in modo efficiente approcci che richiedono interazioni multiple con l’ambiente, compensando la rischiosità di acquisire dati da sistemi robotici chirurgici reali.Per prima cosa affrontiamo tutte le fasi necessarie per creare tale simulazione, dalla scelta del modello nella fase preoperatoria in base alle conoscenze disponibili al suo aggiornamento intraoperatorio per compensare una parametrizzazione imprecisa. Proponiamo di fare affidamento su reti neurali profonde addestrate con dati sintetici sia per generare un modello paziente-specifico sia per progettare una strategia per aggiornare la parametrizzazione del modello partendo direttamente dai dati dei sensori intraoperatori.
Successivamente, testiamo come la simulazione può aiutare l’ARSS, sia per l’apprendimento delle attività che durante l’esecuzione delle attività.
We show that simulation can be used to efficiently train approaches that require multiple interactions with the environment, compensating for the riskiness to acquire data from real surgical robotic systems.
Infine, proponiamo una struttura modulare per la chirurgia autonoma che includa funzioni deliberative per gestire ambienti anatomici reali con parametri incerti. L’integrazione di una simulazione personalizzata si rivela fondamentale sia per una pianificazione ottimale delle attività, sia per migliorare e monitorare l’esecuzione reale.
I contributi presentati in questa tesi hanno il potenziale per introdurre cambiamenti significativi nello sviluppo e nelle prestazioni effettive di sistemi chirurgici robotici autonomi, rendendoli più vicini all’applicabilità a condizioni cliniche reali.
- Pre operative modelling 90%
- Training methods 80%
- Deep neural networks 90%
3.
Come controllare i movimenti del robot
SLAM medico in un sistema robotico autonomo, Andrea Roberti Ph.D.
Nella chirurgia mininvasiva (MIS), le tecniche ottiche sono un approccio sempre più interessante per la ricostruzione 3D in vivo della geometria della superficie dei tessuti molli.
La mia tesi affronta l’ambizioso obiettivo di raggiungere l’autonomia chirurgica, attraverso lo studio dell’ambiente anatomico studiando inizialmente la tecnologia presente e quanto necessario per analizzare la scena: i sensori di visione.
Presentiamo un nuovo endoscopio per attività chirurgiche autonome che combina una telecamera stereo standard con un sensore di profondità. Questa soluzione introduce diversi vantaggi chiave, come la possibilità di ricostruire il 3D a una distanza maggiore rispetto agli endoscopi tradizionali. Nella seconda parte della tesi sono stati affrontati il problema della ricostruzione 3D e degli algoritmi attualmente in uso. In MIS, la localizzazione e la mappatura simultanee (SLAM) possono essere utilizzate per localizzare la posa della telecamera endoscopica e costruire un modello 3D della superficie del tessuto. Un altro elemento chiave per il MIS è avere una conoscenza in tempo reale della posa degli strumenti chirurgici rispetto alla telecamera chirurgica e all’anatomia sottostante. Partendo dall’algoritmo ORB-SLAM abbiamo modificato l’architettura per renderla fruibile in ambiente anatomico aggiungendo alla mappa ottenuta dallo SLAM la registrazione delle informazioni preoperatorie dell’intervento. Una volta dimostrato che l’algoritmo slam è utilizzabile in un ambiente anatomico, è stato migliorato aggiungendo la segmentazione semantica per poter distinguere le caratteristiche dinamiche da quelle statiche.
- Vision sensors 90%
- 3D Modelling 80%
- SLAM 90%
4. – 5.
Come dotare un robot di consapevolezza delle sue azioni e come dimostrare le capacità del dispositivo in ambienti realistici.
Piena autonomia (supervisionata) in chirurgia, Daniele Meli, Ph.D.
Lo scopo è raggiungere l’autonomia a livello di sotto-compiti di una procedura chirurgica, cioè operazioni ripetitive, ma noiose (ad esempio, manipolazione abile di piccoli oggetti in un ambiente vincolato, come ago e filo per la sutura).
Ciò contribuirà a ridurre i tempi di esecuzione, i costi ospedalieri e l’affaticamento dei chirurghi durante l’intera procedura, migliorando ulteriormente i tempi di recupero per i pazienti.
Una nuova struttura per l’esecuzione autonoma di attività chirurgiche
Nella prima parte di questa tesi viene presentato un nuovo quadro per l’esecuzione autonoma delle attività chirurgiche, basato sulla programmazione del set di risposte (ASP), un paradigma di programmazione logica, per la pianificazione delle attività (cioè, il coordinamento di azioni e movimenti elementari). La programmazione logica consente di codificare direttamente la conoscenza del compito chirurgico, rappresentando una metodologia di ragionamento del piano piuttosto che un insieme di piani predefiniti.
Questa soluzione introduce diversi vantaggi chiave, come
• generazione affidabile di piani interpretabili come quelli umani
• monitoraggio in tempo reale dell’ambiente e
• il flusso di lavoro per il pronto adattamento e il ripristino dei guasti.
Inoltre, viene presentata un’ampia rassegna della programmazione logica per la robotica, motivando la scelta dell’ASP per la chirurgia e fornendo un’utile guida per i progettisti di robotica.
- Logic programming 90%
- Dynamic Movement Primitives 80%
- Library of actions and gestures 90%
Un nuovo framework basato su ILP
Nella seconda parte della tesi, viene presentato un nuovo framework basato sulla programmazione logica induttiva (ILP) per l’apprendimento e il perfezionamento della conoscenza delle attività chirurgiche. L’ILP garantisce un rapido apprendimento da pochissimi esempi, uno svantaggio comune della chirurgia. Inoltre, viene proposto un nuovo algoritmo di identificazione dell’azione basato sull’estrazione automatica di caratteristiche ambientali dai video, che si occupa per la prima volta di set di dati piccoli e rumorosi che raccolgono diversi flussi di lavoro di esecuzioni in base alle variazioni ambientali. Ciò consente di definire una metodologia sistematica per l’ILP senza supervisione.
Tutti i risultati di questa tesi sono convalidati su una versione non standard dell’attività di trasferimento dell’anello di addestramento di riferimento per i chirurghi, che imita alcune delle sfide della chirurgia reale, ad es. moto bimanuale vincolato in uno spazio ridotto.
Figure: The functions of a deliberative robot.