I-Crawl: elenco e funzione parametri
Di seguito funzioni, parametri e logica di funzionamento di I-Crawl.
Opzioni: 1-2-5-10-25-50-100-1000
Questo parametro si riferisce alla totalità delle pagine sulle quale il crawler opererà, a prescindere dal numero totale delle pagine del dominio: è un limitatore di analisi da configurare a piacimento secondo il risultato voluto.
Si consiglia, per un'efficace e veloce analisi valutativa del dominio, limitare a 2/5 il parametro, mentre per un'analisi tematica, il valore consigliato è compreso tra 10 e 100; valori superiori selezionabili per una maggiore specificità di ricerca in ogni modalità di analisi.
Opzioni: senza limite - 1 - 2 - 5 - 10 - 25 - 50 - 100 - 1000
Parametro analogo al precedente, ma compresi anche la pagine relative ai link esterni.
Opzioni: senza limite - 1Kb - 10Kb - 100Kb - 1.000Kb - 10.000Kb
Peso massimo della singola pagina analizzata dal crawler.
Il parametro deve essere proporzionale allo spazio disco fisico del server.
Opzioni: Solo Home Page - Home Page e Link di I/II/III/IV/V Livello
Profondità di analisi della ricerca.
Opzioni: 1 - 2 - 4 - 8 - 10 - 16
Processi contemporanei da far eseguire alla CPU del server.
Rispetto al numero di processori e core a disposizione il numero è aumentabile.
Si consiglia un massimo di due thread per ogni core.
Opzioni: Automatico - 1GB - 2GB - 4GB - 8GB - 16GB
Quantità di RAM del Server occupabile dal sistema.
Consigliata la modalità "Automatico" qualora non si sapesse la quantità di RAM o la presenza o meno di processi simultanei di programmi terzi.
Opzioni: Senza Limite - 100ms - 200ms - 400ms - 800ms - 1000ms
Il parametro esprime il lasso di tempo che intercorre tra una richiesta e l'altra allo stesso dominio: Senza Limite, sebbene renda il sistema più veloce, potrebbe non essere accettato dai parametri del firewall del server che ospita il sito sul quale stiamo operando e I-Reader potrebbe essere bannato dal server con la conseguente impossibilità di continuare questa od altre ricerche; le altre parametrizzazioni sono selezionabili a piacere.
Si consiglia di utilizzare un parametro con un valore più alto tanto maggiore sono le pagine da analizzare per ogni dominio.
Opzioni: 1sec - 2sec - 5sec - 10sec - 15sec
Secondi di attesa che il crawler attende per ottenere una risposta dal server del sito web, intercorso il lasso di tempo selezionato senza l'ottenimento di una risposta il sito viene saltato.
Opzioni: 2sec - 4sec - 8sec - 10sec - 15sec - 20sec - 30sec - 45sec - 60sec
Secondi di attesa che il crawler spende sul sito web per la sua analisi: intercorso il lasso di tempo passa al dominio successivo a prescindere da qualsiasi altro parametro impostato.
Opzioni: SI - No
In base a flussi logici parametrizzabili quali white list, black list, categorie tematiche, ricorrenza keywords e altre logiche d’analisi valuta i siti i-Reader analizza i vari siti web rispetto ad esigenze specifiche, come ad esempio la congruità rispetto ad una determinata tematica o meno.