Secondo il concetto indicizzazione adottata da Google, ha rappresentato per completezza, obiettività delle informazioni e la sua conformità alla query di ricerca nel rilascio dei risultati. Se l'indice cade sito web con contenuti illegali, o una risorsa per lo spam, le pagine di questo sito non saranno contrassegnati nel motore di ricerca del database comune. Per noi è importante imparare come rimuovere un sito dalla emissione dei risultati del server di ricerca.
Varianti di nullo indicizzazione Google
Una volta che il robot di ricerca – un programma per raccogliere informazioni sulle nuove risorse – esplorerà la pagina del sito per pagina, poi, quando sotto norme Google per l'analisi, sarà indicizzato. Ma mostreremo come rimuovere il vostro sito o frammenti per i motori di ricerca tramite un file robots.txt – indicizzare e cercare allo stesso tempo di arresto.
Per escludere dal rilascio della risorsa nel suo insieme, nella cartella principale del server su cui si trova il sito, crea una certa area di testo – ha detto robots.txt. Questa zona è trattato con i motori di ricerca e agire secondo le istruzioni lette.
Tenete a mente che gli indici dei motori di ricerca Google la pagina, anche se un utente ha accesso per visualizzare vietati. Quando il browser risponde con 401 o 403 "Accesso non è valido", si applica solo ai visitatori, piuttosto che i programmi che raccolgono per questo motore di ricerca.
Per capire come rimuovere il sito dall'indicizzazione dei motori di ricerca, un puntatore di testo deve inserire le seguenti righe:
User-agent: Googlebot
Disallow: /
Ciò indica al crawler di indicizzare il divieto di tutti i contenuti del sito. Ecco come rimuovere un sito di Google, in modo che quest'ultimo non memorizza nella cache la risorsa nella lista dei rilevati.
Forme di realizzazione di scansione per i diversi protocolli
Se avete bisogno di elencare gli standard di comunicazione individuali, per i quali si desidera applicare regole speciali per l'indicizzazione di Google, per esempio, separatamente per ipertestuali protocolli HTTP / HTTPS, è anche necessario registrare nel file robots.txt nel modo seguente (esempio).
(Http://yourserver.com/robots.txt) – un nome di dominio del vostro sito (qualsiasi)
User-agent: * – qualsiasi motore di ricerca
Allow: / – consentire la piena indicizzazione
Come rimuovere un sito dalla questione completamente il protocollo HTTPS
(Https://yourserver.com/robots.txt):
User-agent: *
Non consentire: / divieto totale di indicizzazione
indirizzi di risorse rimozione URL- accelerati da SERP di Google
Se non volete aspettare per la ri-indicizzazione, e il sito che si desidera nascondere come, vi consiglio di utilizzare il servizio di http://services.google.com/urlconsole/controller più presto possibile. robots.txt Pre deve essere posizionato nella directory principale del server del sito. Si deve essere prescritto istruzioni appropriate.
Se il puntatore per qualche motivo non può essere modificato nella directory principale, creare abbastanza nella cartella con gli obiettivi per i quali si desidera nascondere dai motori di ricerca. Una volta fatto questo e di fare riferimento al servizio di rimozione automatica degli indirizzi ipertestuali, Google non esegue la scansione delle cartelle in cui spiega un difetto nel file robots.txt.
Il periodo di questa invisibilità è impostato per 3 mesi. Dopo questo periodo, la directory ritirato dal problema, sarà nuovamente elaborato dal server di Google.
C ome rimuovere un sito per la scansione parzialmente
Quando un bot di ricerca sta leggendo il contenuto del file robots.txt, che certe decisioni vengono prese sulla base del suo contenuto. Diciamo che si desidera escludere dal mostrare tutta la directory denominata anatom. E 'sufficiente prescrivere tali normative:
User-agent: Googlebot
Non consentire: / anatom
Oppure, per esempio, si desidera non è indice di tutti i tipi di immagine gif. A tale scopo, aggiungere il seguente elenco:
User-agent: Googlebot
Disallow: /*.gif$
Ecco un altro esempio. Siano cancellati dal parsing informazioni sulle pagine generate dinamicamente, mentre l'aggiunta al tipo di voce di indice:
User-agent: Googlebot
Non consentire: / *?
Questo è tutto, ed enuncia le regole per i motori di ricerca. Un'altra cosa è che è molto più conveniente utilizzare solo questo tag META. E webmaster utilizzano spesso solo una norma che regola il funzionamento dei motori di ricerca. Ma discuteremo questo nei prossimi articoli.
Latest posts
Che cosa può parlare di coagulo di sangue durante le mestruazioni?
