Intelligenza Artificiale 07-08

altra domanda.... voi partite dai file html, poi li trasformate in txt e li mandate al tokenizer di chaos? [e come fate la trasformazione html -> txt? ]

e 3)
ma per il gold standard voi avete fatto una tabella con i campi delle classi? tipo person, org, place, date... e per ogni parola avete visto quante volte occorre in ciascuna di esse?
e il conteggio va ovviamente fatto a mano guardando il campo type bei file xml?

per tokenizzare le parole usiamo chaos giusto?
ma bisogna dagli in pasto i file .html?

Noi non abbiamo usato Chaos,l'abbiamo fatto a mano e gli abbiamo dato in input file txt derivanti dal html...(Al tokenizzatore)

voi partite dai file html, poi li trasformate in txt e li mandate al tokenizer di chaos? [e come fate la trasformazione html -> txt? ]

La trasformazione l'abbiamo fatta a manovella,oppure puoi utilizzare dei programmi che la fanno,scaricabili dal web...Ma sono fatti male e su pagine di wikipedia non funzionano bene...Noi abbiamo fatto una scriptino che oglieva e vari tag e permetteva al file di essere letto correttamente da Chaos...

ma per il gold standard voi avete fatto una tabella con i campi delle classi? tipo person, org, place, date... e per ogni parola avete visto quante volte occorre in ciascuna di esse?
e il conteggio va ovviamente fatto a mano guardando il campo type bei file xml?

Assolutamente no. Noi abbiamo fatto 4 tabelle diverse con degli attributi che indicano la posizione della parola classificata nel testo,a chi si riferisce (se quindi è una further annotation) e a seconda del tipo veniva scelta la tabella...
Il conteggio ovviamente va fatto a mano,ma non ho ben capito a cosa ti serve...a te interessa sapere soltanto quali parole e perchè quelle parole...non quante....

Intendo sempre a livello di DB...per il calcolo degli indici di prestazione,ovviamente è interessante,ma nnon va tenuto conto nella tabella....il gold standard per definizione è solo un sistema di confronto....se non mi ricordo male....sto cominciando a rimuovere tutta quesa roba cattiva....

ah ok... si in effetti non mi è tutto chiaro.
cmq per ora ho fatto così... ho fatto [leggi trovato ] un programmino java che trasforma html in txt levando i tag... poi questo txt va dato a chaos... fin qui ci siamo... [spero], una volta avviato chaos, devo usare solo il tokenizzatore o parsare il txt, mettendo il check su tutte le caselle [nelle impostazioni del server] ?

grazie 1000000000000000

quello che non capisco è... che differenza c'è tra tokenizzarsi un file di testo con un programma scritto a mano, oppure con chaos... l'unica cosa che mi viene in mente è il formato output, che magari se fatto con chaos [.cha] potrebbe generare problemi per i passi successivi....

e poi... una volta tokenizzata una stringa, si passa alla fase della segmentazione, giusto? e anche qui sono ancora nel buio...