Sådan fjerner du en website eller dets fragmenter fra Google-indekset

Ifølge indeksering konceptet vedtaget af Google, tegnede sig for fuldstændighed, objektivitet af oplysningerne og dens overensstemmelse med søgestrengen i udstedelsen af resultaterne. Hvis indekset falder hjemmeside med ulovligt indhold, eller ressource for spam, vil siderne i dette websted ikke mærkes i den fælles database søgemaskine. For os er det vigtigt at lære , hvordan du fjerner et websted fra udstedelse af resultaterne af søgningen serveren.

Varianter af nul indeksering Google

Når søgningen robot - et program til at indsamle oplysninger om nye ressourcer - vil skanne sitet side ved side, så, når under Googles politiske krav til parsing, det vil blive indekseret. Men vi viser dig også, hvordan du fjerner dit websted eller fragmenter til søgemaskinerne gennem en robots.txt - indeks og søge på samme tid stop.

For at udelukke fra udstedelsen af den ressource som helhed, i rodmappen på server, hvor stedet ligger, skaber en bestemt tekst område - sagde robots.txt. Denne zone er behandlet med søgemaskiner og handle i overensstemmelse med de instruktioner, læse.

Husk, at Google-søgemaskinen indekserer siden, selv om en bruger har adgang til at se forbudt. Når browseren svarer med 401 eller 403 "Adgang er ugyldig", det gælder kun for de besøgende, snarere end programmer, der samles til denne søgemaskine.

For at forstå , hvordan du fjerner webstedet fra søgemaskine indeksering, skal en tekst pointer indtaste følgende linjer:

User-agent: Googlebot

Disallow: /

Dette indikerer at den crawler at indeksere forbud mod alt indhold på sitet. Her er hvordan du fjerner et websted Google, således at sidstnævnte ikke cache ressourcen på listen over opdaget.

Udførelsesformer for scanning for forskellige protokoller

Hvis du har brug for at vise individuelle kommunikationsstandarder, som du ønsker at anvende særlige regler for indeksering af Google, for eksempel, separat for hypertekst -protokoller http / https, er det også nødvendigt at registrere i robots.txt på følgende måde (eksempel).

(Http://yourserver.com/robots.txt) - et domænenavn på dit website (nogen)

User-agent: * - enhver søgemaskine

Tillad: / - tillade fuld indeksregulering

Sådan fjerner du en hjemmeside fra udstedelsen helt til https-protokollen

(Https://yourserver.com/robots.txt):

User-agent: *

Disallow: / totalforbud mod indeksering

Fremskyndet fjernelse URL- ressource adresser fra Google SERPs

Hvis du ikke ønsker at vente på re-indeksering, og det websted, du ønsker at skjule ligesom, anbefaler jeg at bruge tjenesten http://services.google.com/urlconsole/controller hurtigt som muligt. Pre robots.txt skal placeres i rodmappen på webstedet serveren. Det bør ordineres passende anvisninger.

Hvis markøren eller anden grund ikke kan redigeres i rodmappen, oprette det nok i mappen med mål, som du ønsker at skjule fra søgemaskinerne. Når du gør dette og henviser til tjenesten automatisk fjerner hypertekst adresser, vil Google ikke scanne mapper, præciseret en fejl i robots.txt.

Perioden for denne usynlighed er sat i 3 måneder. Efter denne periode vil trukket tilbage fra udstedelsen mappe, igen blive behandlet af Google-server.

H ow at fjerne et websted for at scanne delvist

Når en søgning bot læser indholdet af robots.txt, er at visse beslutninger træffes på baggrund af dens indhold. Lad os sige, du vil udelukke fra at vise alle kategorier kaldet anatom. Det er nok til at fastsætte sådanne regler:

User-agent: Googlebot

Disallow: / anatom

Eller, for eksempel, du ønsker at ikke indeksere alle billedtyper .gif. For at gøre dette, skal du tilføje følgende liste:

User-agent: Googlebot

Disallow: /*.gif$

Her er et andet eksempel. Lad dem blive slettet fra parsing oplysninger om dynamisk genererede sider, samtidig med at tilføje til indekset posttype:

User-agent: Googlebot

Disallow: / *?

Det handler om, og præciserer reglerne for søgemaskinerne. En anden ting er, at det er meget mere bekvemt at bare bruge denne META-tag. Og webmastere bruger ofte bare sådan standard at regulere driften af søgemaskiner. Men vi vil diskutere dette i fremtidige artikler.