Abbiamo impiegato la metodologia CRISP-DM

CRISP-DM (Cross Industry Standard Process for Data Mining), una metodologia ampiamente adottata per progetti di data science e data mining. Abbiamo fatto i seguenti passaggi:

• Target Understanding (Comprensione del contesto)
  Abbiamo compreso a fondo gli obiettivi e le esigenze del progetto:
  • Abbiamo identificare gli obiettivi.
  • Tradotto gli obiettivi in obiettivi analitici (es. classificazione del testo).
  • Abbiamo pianificare il progetto e collegato i dati ai bisogni del contesto.
• Data Understanding (Comprensione dei Dati)
  Abbiamo raccolto, esplorato e valutato i dati disponibili.
  • Raccolta iniziale dei dati.
  • Analisi esplorativa per comprendere le caratteristiche dei dati.
  • Identificazione di problemi come dati mancanti, outlier, errori di formato.
  • Connessione tra dati e obiettivi.
• Data Preparation (Preparazione dei Dati)
  Abbiamo pulito e trasformato i dati per renderli adatti alla modellazione e l’impiego con le tecniche di ML.
  • Abbiamo selezionato le variabili rilevanti.
  • Abbiamo pulito i dati (gestione dei null, outlier, duplicati).
  • Abbiamo integrato le variabili (creazione di nuove feature, normalizzazione).
  • Suddivisione in set di addestramento/test.
• Modeling (Modellazione)
  Abbiamo applicato tecniche di modellazione per trovare pattern o fare previsioni.
  • Abbiamo testato diversi approcci / algoritmi  (prima linear regressor, e poi da capo con Neural-networks), quindi per ogni tecnica
    • Addestramento sui dati preparati.
    • Ottimizzazione dei parametri.
    • Interventi al punto 3. Data Preparation e ricominciato da capo.
      
• Evaluation (Valutazione)
  Abbiamo valutato le performance del modello in relazione agli obiettivi.
  • verificato se il modello soddisfa i requisiti iniziali.
  • Analisi dei risultati (accuratezza, precisione, recall, ecc.).
  • Coinvolgimento degli stakeholder per l’interpretazione.
  • Decisione se procedere o tornare indietro a fasi precedenti.
• Deployment (Distribuzione)
  Abbiamo messo il modello in produzione e usato per supportare decisioni reali.
  • Integrazione del modello nei processi aziendali.
  • Preparazione di documentazione e formazione per gli utenti finali.
• N.B. La fase di modeling come in tutti i progetti simili ha comportato un dover tornare indietro all’inizio e ricominciare da capo, fino ad ottenere un ingegnerizzazione dei tale da rendere soddisfacente lavorare bene con le reti neurali.
  

Visualizzazione 3D dei vettori di embedding

I vettori di embedding originali hanno più di mille dimensioni, per effettuare la visualizzazione 3D abbiamo impiegato una tecnica di dimensionality reduction.

Qui si vede come due pratiche di ABUSO sono più distanti da altre pratiche nello spazio tridimensionale.

Curiosità

• CONCES: Concessioni edilizie o Permesso di costruire
• D.I.A.: Denuncia di Inizio Attività,
• SCIA: Segnalazione Certificata di Inizio Attività, titolo abilitativo che consente l’avvio immediato dei lavori per determinate tipologie di interventi.
• PERM.C: Permesso di Costruire
• BB.AA.: Beni Architettonici e Ambientali
• CIL: Comunicazione di Inizio Lavori,

Parole più frequenti per alcuni titoli edilizi

ABUSO

AUTORI

CIL

CONCES