SamGIS - Alcuni appunti su Segment Anything

Rimando alle mie note in inglese su Segment Anything.

A proposito del riutilizzo degli embedding delle immagini e SamGIS

Dopo aver riletto questo paper ho capito che avrei potuto migliorare l'efficienza di SamGIS conservando e riutilizzando gli embedding delle immagini.

Ho implementato questa modifica in SamGIS versione 1.3.0. Alcuni dati di test dalla demo SamGIS che ho utilizzato:

• prima chiamata: 5.42s
  • modello fastsam istanziato
  • immagine creata dalla mappa web (uso OpenStreetMap come tile provider e Mapnik come layer della webmap)
  • creato il embedding dell'immagine
• seconda chiamata: 0,41 s
• dalla terza alla settima chiamata: ~0,34s

Si tenga presente che effettuando una chiamata immediatamente dopo l'altra la durata rimane bassa, probabilmente a causa dell'utilizzo della cache durante il download delle tile nel back-end. Aspettando più di 10 minuti sembra invalidare la cache, quindi contextily (la libreria di GeoPanda che utilizzo come client di Tiles) ha impiegato da 0.5s a 1.5s di tempo, durante le mie prove, per il download delle tile.

Espandere qui per il dettaglio del payload delle chiamate di test.

{
    "bbox": {
        "ne": {
            "lat": 46.236615111857255,
            "lng": 9.519996643066408
        },
        "sw": {
            "lat": 46.13405108959001,
            "lng": 9.29821014404297
        }
    },
    "prompt": [
        {
            "id": 146,
            "type": "point",
            "data": {
                "lat": 46.18483299780137,
                "lng": 9.418864745562386
            },
            "label": 1
        }
    ],
    "zoom": 13,
    "source_type": "OpenStreetMap"
}

A proposito della conversione "dal testo alla maschera" "zero shot": LISA e SamGIS

La versione originale di SAM può utilizzare anche semplici prompt testuali in linguaggio naturale. Per un uso pratico di questa funzionalità, si veda:

• Grounded-SAM
• LISA

Naturalmente potrebbe interessare anche il mio lavoro di integrazione di LISA con SamGIS e la corrispondente demo. Devo tenerlo in pausa a causa dei costi, ma sto richiedendo l'uso di una GPU gratuita da HuggingFace.

Nel caso il mio progetto fosse interessante, metti "mi piace" o commenta il thread di richiesta di risorse GPU di HuggingFace.