Noi abbiamo proceduto così e sembra che alla prof/Zanzotto sia piaciuto molto.
All'inizio abbiamo creato il gold standard,utilizzando tutti i file xml di testing.
Poi abbiamo costruito il segmentatore, tokenizzando tutte le parole e identificando quelle che per noi erano importanti e quelle che rispettassero tutte le feature. Le feature le abbiamo identificate sia a livello logico che a livello ortografico delle stringhe.
Fatte tutte queste cose, abbaimo identificato le date ed eliminate dal vettore delle parole segmentate.
Qui finisce il segmentatore (che a parer mio è la parte più difficile perchè diviene difficile identificare le parole importanti e quelle no, vi consiglio di usare o il "bag of word" oppure una libreria come XPointer per muovervi all'interno del testo html di riferimento).
Poi abbiamo preso tutti i file xml di training e li abbiamo parsati,ciascun type del file lo abbiamo sottoposto all'identificatore delle feature, creando pian piano un immenso file arff di un boato di esempi.
Una volta creato questo file arff di training lo abbiamo buttato in weka scegliendo un classificatore affidabile (consiglio : J48 con le feature nominali).
Qui si conclude la fase di training.
Per il testing,la prof vi dà un file html in input,quindi dovete parsarlo in txt,facendo attenzione a tutti i tag etc etc... Da questo riapplicate il segmentatore ed estrate le parole importanti...Ancora riapplicate l'identificatore di feature e create un altro file ARFF di cui ovviamente non sapete quali sono le categorie.
Lo buttate in weka e l'uccello vi restituirà un nuovo file arff con la sua "predizione",parsate questo file,riempite un altro db con questi valori e confrontate quest'ultimo con il vostro gold standard. Da lì calcolate precision,recall ed F-Measure.
Ovviamente più la precision si avvicina,più l'annotatore non è casuale. E non preoccupatevi se non arrivate alla perfezione,la maggior colpa è di Chaos che identifica Vanigli come ARTICOLO!!!
Buon lavoro....
