MGRI 2007

cescocrico ha scritto:

Per rispondere a chi ha fatto la domanda su LSA.
Volevo dirgli di cercare su internet,anche perchè sul libro ci sono solo 2 pagine dedicate a LSA vi dico che è uno dei metodi più importanti di tutto il

corso. Io ho fatto l'esame l'anno scorso e dovevo fare l'orale a Novembre ma ho rinunciato per via dei diversi rinvii da parte del prof.

Comunque, io mi chiedevo come poteva Basili fare le slide sul LSA Kernel se quest'anno neanche l'ha accennato la funzione kernel.

io su internet ho trovato diverse slide e vi dico che ci ho messo un bel po per capire decentemente LSA.

ps: capite bene come funziona la riduzione di rango e cosa fa effettivamente, è fondamentale

Concordo. Stamattina ho rivisto la registrazione di quella lezione (che sto cercando di uploadare) e c'ho capito proprio poco. Io credo che la difficoltà stia nel fatto che molti calcoli (per arrivare a U e V) sono "nascosti" e che dobbiamo prenderli per buoni contando su lontane reminiscenze di S.D. e geometria. Su wikipedia ho trovato qualche aiuto (Fra LSA e SVD) ma anche lì U e V compaiono magicamente come se il loro calcolo fosse una cretinata, così come per S e i suoi autovalori.

Quello che ho capito fino a mo è

- Partiamo dalla matrice nota in VSM, W (Termini - Docs) TxD

- Si assume che esistano tre matrici U, V ed S tali che
W = U * S * V(trasp)

- U è TxR, S è RxR e V è DxR (R è il rango di W = min(T,R))

- Le colonne di U e le righe di V definiscono uno spazio ortonormale
U*U(trasp) = I e V*V(trasp) = I

- U e V sono le matrici dei VETTORI SINGOLARI sinistro e destro di W, mentre S ha valori non nulli ordinati dal più piccolo al più grande sulla diagonale principale
sij != 0 SSE i=j E sii > Sjjj SSE i > j

1 0 0
0 2 0
0 0 3

- Facendo il prodotto fra un vettore dei termini (riga i-esima di W) ed un altro (riga j-esima di W) ottengo uno scalare che indica la correlazione fra Ti e Tj

- Stessa cosa per i documenti moltiplicando fra loro due colonne o due righe della W trasposta

- Faccio il prodotto di W e W(trasp) (per la non commutatività ho due espressioni diverse)

- W*W(trasp) contiene tutti gli scalari delle correlazioni fra termini (TxT)
- W(trasp)*W contiene tutti gli scalari delle correlazioni fra documenti (DxD)

- Esplodendo W e W(trasp) secondo l'assunzione iniziale, W=U*S*V(trasp) otteniamo due espressioni che portano a:

- W*W(trasp) = U * S * S(trasp) * U(trasp)
- W(trasp)*W = V * S(trasp) * S * V(trasp)

(Preso e tradotto da Wikipedia )

- Siccome S*S(trasp) and S(trasp)*S sono diagonali, U contiene gli autovettori di W*W(trasp) (VETTORI SINGOLARI SINISTRI di W) e V gli autovettori di W*W(trasp) (VETTORI SINGOLARI DESTRI di W). I due prodotti hanno gli stessi autovalori, dati dai valori non nulli dei prodotti S*S(trasp) ed S(trasp)*S

(Preso e tradotto da Wikipedia )

- Vettore SINGOLARE sinistro o destro di W per un dato lambda (che si dice VALORE SINGOLARE) significa che

M * V = lambda * U
M(trasp) * U = lambda * V

- Un vettore v è autovettore di W se W * v = lambda * v (lambda è un autovalore per l'autovettore v)

- Una matrice ha diverse coppie di autovettori ed autovalori tramite i quali è possibile descrivere il prodotto di W per un qualsiasi vettore V:

W * V = lambda1*(v1*V) + .. + lambdan*(vn*V)

- Per calcolare gli autovettori di una matrice, si parte da W * v = lambda * v. Stando all'esempio del prof, va calcolato un determinante per la matrice W-lambda*I da porre a zero. Questo, con un po' di calcoli dovrebbe darci un numero di valori di lambda pari al rango della matrice W. Sti valori sono gli autovalori di W a partire da quali, sostituiti in (W-lambda*I)*v = 0, otteniamo i relativi autovettori v.

Ho provato a capirci qualcosa ma credo che mi manchi qualche pezzo:

- Definizione di autovettore: W * v = lambda * v ==> W * v - lambda*v = 0 ==> v * (W-lambda) = 0
- E QUI COMPARE LA MATRICE IDENTITA'... ok ho preso 19 a geometria, ma me lo spiegate il perché ???

v(W-lambda*I) = 0

- La formula maledetta è questa. Prima si annulla il determinante della matrice fra parentesi (PERCHE' ????) e troviamo il polinomio caratteristico e quindi i due (o più) lambda. Successivamente si annulla tutta l'espressione con i due (o più) lambda trovati in modo da valorizzare le due (o più) componenti di v.

- Ora abbiamo tutti gli autovalori (i vari lambda) e tutti gli autovettori, i vari v

- Ordiniamo i lambda in ordine crescente sulla diagonale di S (RxR) e seguiamo lo stesso ordine degli indici lambda per mettere in fila gli autovettori v

- SE NON HO CAPITO MALE, il calcolo del determinante e dei vari autovalori/vettori si applica sia a W*W(trasp) che a W(trasp)*W ottenendo dai primi la U e dai secondi la V. Gli autovalori saranno gli stessi e ci daranno la matrice S RxR.

Spero di non delirare (come dice il prof...) ma se ho detto cazzate qualcuno me lo dica please !!

scusate, io non ho capito una cosa
ma venerdì prossimo c'è il secondo esonero o il primo appello?

E' la prova finale. Nuovi argomenti, più gli argomenti del primo esonero.

ma le slide della lezione 11 su Information Extraction sono da fare per la prova finale?

Alt ha scritto:

E' la prova finale. Nuovi argomenti, più gli argomenti del primo esonero.

ma ci possono partecipare tutti? o solo quelli che hanno preso un certo voto al primo esonero?
perchè da come ne parlava a lezione mi sembrava di capire che tutti potessero parteciparvi e se non ricordo male ha anche detto, parafrasando, "ci sarà tutto il programma in modo tale che anche chi è andato male al primo potrà un pò risollevarsi"... cioè comunque terrà conto del voto del primo, spero...

Si possono partecipare tutti...come è sempre stato per tutti gli esami di basili(Fond1 e basi di dati) ed è su tutto il programma...idem dicasi per l'appello della settimana successiva.
La lezione 11 nonè stata mai trattata a lezione fino ad oggi..dunque penso vada esclusa...