Meklētājprogrammas ir aprīkotas ar robotiem, kas pazīstami arī kā zirnekļi vai roboti, kas pārmeklē un indeksē tīmekļa lapas. Ja jūsu vietne vai lapa tiek izstrādāta vai tajā ir sensitīvs saturs, iespējams, vēlēsities bloķēt robotu pārmeklēšanu un vietnes indeksēšanu. Uzziniet, kā bloķēt visas vietnes, lapas un saites, izmantojot robots.txt failus, un bloķēt noteiktas lapas un saites ar html tagiem. Lasiet tālāk, lai uzzinātu, kā bloķēt konkrētu robotu piekļuvi jūsu saturam.
Soļi
1. metode no 2: meklētājprogrammu bloķēšana ar failiem robots.txt
1. darbība. Izprotiet robots.txt failus
Fails robots.txt ir vienkāršs vai ASCII teksta fails, kas informē meklētājprogrammu zirnekļus, kam viņiem ir atļauts piekļūt jūsu vietnē. Failus un mapes, kas norādītas failā robots.txt, meklētājprogrammu zirnekļi nedrīkst pārmeklēt un indeksēt. Jums var būt nepieciešams fails robots.txt, ja:
- Jūs vēlaties bloķēt konkrētu saturu no meklētājprogrammu zirnekļiem.
- Jūs izstrādājat vietni, kas darbojas tiešsaistē, un neesat gatavs meklētājprogrammu zirnekļiem, lai tie pārmeklētu un indeksētu vietni
- Jūs vēlaties ierobežot piekļuvi cienījamiem robotiem.
2. darbība. Izveidojiet un saglabājiet failu robots.txt
Lai izveidotu failu, palaidiet vienkārša teksta redaktoru vai koda redaktoru. Saglabājiet failu kā: robots.txt. Faila nosaukumam jābūt maziem.
- Neaizmirstiet “s”.
- Saglabājot failu, izvēlieties paplašinājumu “'.txt”'. Ja izmantojat Word, atlasiet opciju “Vienkāršs teksts”.
3. solis. Uzrakstiet robots.txt failu, kas ir pilnībā neatļauts
Ir iespējams neļaut ikvienam cienījamam meklētājprogrammas zirneklim pārmeklēt un indeksēt jūsu vietni, izmantojot failu “pilnībā neatļaut” robots.txt. Teksta failā ierakstiet šādas rindas:
User-agent: * Neatļaut: /
4. solis. Uzrakstiet nosacītās atļaujas failu robots.txt
Tā vietā, lai bloķētu visus robotus, apsveriet iespēju bloķēt konkrētus zirnekļus no noteiktiem vietnes apgabaliem. Parastās nosacītās atļaušanas komandas ietver:
- Bloķēt konkrētu robotu: nomainiet zvaigznītes blakus Lietotāja aģents ar googlebot, googlebot-ziņas, googlebot attēls, bingbot, vai teoma.
-
Bloķējiet direktoriju un tā saturu:
User-agent: * Neatļaut: /sample-directory /
-
Tīmekļa lapas bloķēšana:
User-agent: * Neatļaut: /private_file.html
-
Attēla bloķēšana:
User-agent: googlebot-image Neatļaut: /images_mypicture.jpg
-
Bloķēt visus attēlus:
User-agent: googlebot-image Neatļaut: /
-
Bloķēt noteiktu faila formātu:
User-agent: * Neatļaut: /p*.gif$
5. solis. Mudiniet robotus indeksēt un pārmeklēt jūsu vietni
Daudzi cilvēki vēlas sveikt meklētājprogrammu zirnekļus, nevis bloķēt tos, jo vēlas, lai visa viņu vietne tiktu indeksēta. Lai to paveiktu, jums ir trīs iespējas. Pirmkārt, varat atteikties no faila robots.txt izveides-ja robots neatrod failu robots.txt, tas turpinās pārmeklēt un rādīt visu jūsu vietni. Otrkārt, varat izveidot tukšu failu robots.txt-robots atradīs failu robots.txt, atpazīs, ka tas ir tukšs, un turpinās pārmeklēt un indeksēt jūsu vietni. Visbeidzot, varat uzrakstīt failu robots.txt ar pilnu atļauju. Izmantojiet kodu:
User-agent: * Neatļaut:
6. darbība. Saglabājiet txt failu sava domēna saknē
Kad esat uzrakstījis failu robots.txt, saglabājiet izmaiņas. Augšupielādējiet failu savas vietnes saknes direktorijā. Piemēram, ja jūsu domēns ir www.jūsudomēns.com, ievietojiet failu robots.txt vietnē www.jūsudomēns.com/robots.txt.
2. metode no 2: meklētājprogrammu bloķēšana, izmantojot metatagus
1. solis. Izprotiet HTML robotu metatagus
Robotu metatags ļauj programmētājiem iestatīt parametrus robotiem vai meklētājprogrammu zirnekļiem. Šie tagi tiek izmantoti, lai bloķētu robotu indeksēšanu un pārmeklēšanu visā vietnē vai tikai atsevišķās vietnes daļās. Varat arī izmantot šos tagus, lai bloķētu konkrēta meklētājprogrammas zirnekļa satura indeksēšanu. Šie tagi parādās jūsu HTML faila galvgalī.
Šo metodi parasti izmanto programmētāji, kuriem nav piekļuves vietnes saknes direktorijam
2. darbība. Bloķējiet robotprogrammatūras no vienas lapas
Ir iespējams bloķēt visus robotus, lai tie indeksētu lapu un nesekotu lapas saitēm. Šo tagu parasti izmanto, kad tiek izstrādāta aktīva vietne. Kad vietne ir pabeigta, ir ļoti ieteicams noņemt šo tagu. Ja nenoņemsiet atzīmi, jūsu lapa netiks indeksēta vai meklēta, izmantojot meklētājprogrammas.
- Jūs varat bloķēt robotprogrammatūru, lai tā indeksētu lapu un nesekotu nevienai no saitēm:
- Varat bloķēt visu robotu lapas indeksēšanu:
- Jūs varat bloķēt visus robotus, sekojot lapas saitēm:
3. solis. Ļaujiet robotprogrammatūrām indeksēt lapu, bet neievērojiet tās saites
Ja ļausit robotprogrammatūrai indeksēt lapu, lapa tiks indeksēta; ja neļausit zirnekļiem sekot saitēm, saites ceļš no šīs lapas uz citām lapām tiks pārtraukts. Ievietojiet galvenē šādu koda rindu:
Solis 4. Ļaujiet meklētājprogrammu zirnekļiem sekot saitēm, bet ne indeksēt lapu
Ja ļausit robotprogrammatūrām sekot saitēm, saites ceļš no šīs konkrētās lapas uz citām lapām paliks nepamanīts; ja jūs viņiem ierobežojat lapas indeksēšanu, jūsu tīmekļa lapa netiks parādīta rādītājā. Ievietojiet galvenē šādu koda rindu:
5. darbība. Bloķējiet vienu izejošo saiti
Lai lapā paslēptu vienu saiti, ieguliet a rel tagu saites tagā. Iespējams, vēlēsities izmantot šo tagu, lai bloķētu saites citās lapās, kas novirza uz konkrēto lapu, kuru vēlaties bloķēt.
Ievietot saiti uz bloķēto lapu
6. darbība. Bloķējiet konkrētu meklētājprogrammas zirnekli
Tā vietā, lai bloķētu visus tīmekļa lapas robotus, iespējams, vēlēsities neļaut vienam robotam pārmeklēt un indeksēt lapu. Lai to paveiktu, metatagā “robots” jāaizstāj ar konkrēta robota nosaukumu. Piemēri: googlebot, googlebot-ziņas, googlebot attēls, bingbot, un teoma.
7. solis. Mudiniet robotus pārmeklēt un indeksēt jūsu lapu
Ja vēlaties nodrošināt, ka jūsu lapa tiks indeksēta un tiks sekotas tās saitēm, varat ievietot sekošanas atļauju meta "robots" atzīmējiet galvenē. Izmantojiet šādu kodu:
