IV AgnėŽ 07:06, 27 gegužės 2024

2024-05-27T07:06:07Z

IV AgnėŽ 07:00, 27 gegužės 2024

2024-05-27T07:00:23Z

IV AgnėŽ: Naujas puslapis: Paieškos sistemų robotai ir skaitytuvai neretai indeksuodami Jūsų svetainę gali sukelti jos neveikimą, serverio apkrovą, kadangi dauguma paieškos sistemų robotų, tokie...

2024-05-27T06:54:47Z

Naujas puslapis: Paieškos sistemų robotai ir skaitytuvai neretai indeksuodami Jūsų svetainę gali sukelti jos neveikimą, serverio apkrovą, kadangi dauguma paieškos sistemų robotų, tokie...

Naujas puslapis

Paieškos sistemų robotai ir skaitytuvai neretai indeksuodami Jūsų svetainę gali sukelti jos neveikimą, serverio apkrovą, kadangi dauguma paieškos sistemų robotų, tokie kaip „Googlebot“, „Bingbot“, „Yandex Bot“ ir kt., siekia kuo greičiau suindeksuoti svetaines. Svetainių indeksavimas taip pats svarbus svetainės SEO, jos aptinkamumui paieškos sistemose, tačiau svarbu atkreipti dėmesį, kad toks indeksavimas neturėtų sukelti pačios svetainės neveikimo.

Todėl svarbu valdyti Jums reikalingus ir aktualius paieškos sistemų sistemų robotus ir jų indeksavimo intensyvumą, kad nenukentėtų nei svetainės SEO, nei jos pasiekiamumas indeksavimo metu, kai generuojamas didelis kiekis užklausų iš paieškos sistemų robotų.

__TOC__

== Ahrefs indeksavimo nustatymai ==

''Ahrefs'' yra vienas iš SEO įrankių, kuris skirtas padėti svetainių savininkams, skaitmeninės rinkodaros specialistams ir SEO ekspertams analizuoti ir tobulinti savo svetainių našumą paieškos sistemose. Šio įrankio indeksavimo nustatymus galite valdyti prisijungę prie įrankio valdymo: https://ahrefs.com/

'''1.''' Ties pridėtu projektu paspauskite trijų taškelių simbolį:

[[Vaizdas:1 ahrefs selected.png|1000px]]

'''2.''' Pasirinkite '''"Settings"''':

[[Vaizdas:2 ahrefs selected.png|200px]]

'''3.''' Pirmoje skiltyje '''"Schedule"''' galite nustatyti laiko intervalą ir dažnumą - kuriomis valandomis ir kaip dažnai bus atliekamas svetainės indeksavimas. Pasirinkite norimus nustatymus paspauskite '''"Crawl settings"''':

[[Vaizdas:3 ahrefs selected.png|500px]]

'''4.''' Nustatymų skiltyje galite nustatyti kiek paralelių užklausų bus galima generuoti į svetainę ir koks turėtų būti laiko tarpas tarp užklausų, pavyzdžiui, nustačius ''Delay between request, sec: 20'', o ''Number of paraller requests:1'', į svetainę ateis po 1 užklausą kas 20 sec:

[[Vaizdas:4 ahrefs elected.png|500px]]

'''5.''' Žemiau galite valdyti papildomus nustatymus, pavyzdžiui, vidinių puslapių skaičių, maksimalią indeksavimo trukmę, URL ilgį:

[[Vaizdas:4.1 ahrefs selected.png|500px]]

'''6.''' Pasirinkę norimus nustatymus paspauskite '''"Save"''' ir juos išsaugokite:

[[Vaizdas:4.2 ahrefs selected.png|500px]]

== Semrush indeksavimo nustatymai ==

''Semrush'' yra vienas iš įrankių, skirtų stebėti svetainės SEO. Nustatymus galite valdyti prisijungę prie jų įrankio:

'''1.''' Prisijungę pasirinkite skiltį '''"Site Audit"''':

[[Vaizdas:1 semrush selected.png|500px]]

'''2.''' Paspauskite nustatymų simbolį:

[[Vaizdas:2 semrush selected.png|1000px]]

'''3.''' Paspauskite ant vieno iš pasirinkimų '''"Site Audit settings"''' skiltyje:

[[Vaizdas:3 semrush selected.png|300px]]

'''4.''' Peržiūrėkite '''"Crawler settings"''', kur galite pažymėti, kad būtų atsižvelgiama į svetainės ''robots.txt'' failą, arba sulėtinti užklausas iki 1 URL per 2 sekundes:

[[Vaizdas:5 semrush selected.png|800px]]

'''5.''' Skiltyje '''"Allow/disallow URLs"''' galite įrašyti URL nuorodų pradžią, kurių norite, kad įrankis netikrintų arba tikrintų:

[[Vaizdas:6 semrush selected.png|800px]]

'''6.''' Pasirinkite, kokiu intensyvumu svetainė turi būti indeksuojama ir išsaugokite:

[[Vaizdas:7 semrush selected.png|800px]]

== BingBot indeksavimo nustatymai ==

''Bingbot'' yra „Microsoft Bing“ paieškos sistemos naršymo robotas. Jo pagrindinė funkcija yra nuskaityti ir indeksuoti interneto svetaines, kad jų turinys būtų įtrauktas į „Bing“ paieškos rezultatus.

Nustatymus galite valdyti [https://www.bing.com/webmasters/tools/ ''Bing webmasters tools''] įrankio pagalba:

'''1.''' Prisijungę pasirinkite '''"Crawl Control"''':

[[Vaizdas:1 bing selected.png|300px]]

'''2.''' Kur galėsite pasirinkti kokiu laiku ir kuriomis valandomis svetainę galima indeksuoti greičiau, o kokiu laiku, pavyzdžiui, kai svetainės lankomumas yra didelis, indeksuoti lėčiau:

[[Vaizdas:2 bing selected.png|800px]]

'''3.''' Konkretaus indeksavimo nustatymus taip pat galima kontroliuoti inicijavus indeksavimą. Pasirinkite '''"Site scan"''' ir '''"Start new scan"''':

[[Vaizdas:3 bing selected.png|800px]]

'''4.''' Pasirinkite '''"Advanced settings"''':

[[Vaizdas:4 bing selected.png|500px]]

'''5.''' Pasirinkite, koks turėtų būti indeksavimo greitis (''crawling speed (urls per second'') ir patikrinkite, kad nebūtų ignoruojamas turimas ''robots.txt'' failas:

[[Vaizdas:5 bing selected.png|500px]]

== robots.txt failo valdymas turinio valdymo sistemos administravimo dalyje ==

Paieškos sistemų robotų ir skaitytuvų šiuo metu yra labai daug. Nėra galimybės užsiregistruoti kiekvieno iš jų įrankyje, skirtame indeksavimo valdymui. Taip pat ne kiekvienas robotas turi įrankį, kurio pagalba galite valdyti, kaip jis indeksuos svetainę, kadangi svetainę gali indeksuoti ne tik paieškos sistemų robotai ( Yandex, Google, BingBot), bet ir tokie botai kaip Alexa ( Amazon virtualus asistentas), Siri (Apple sukurta virtuali asistentė), socialinių tinklų botai, turinio valdymo sistemų, duomenų rinkimo, dirbtinio intelekto ir kt. Tad visų jų indeksavimo valdyti tam tikru įrankiu nebus galimybės. Šioje situacijoje svarbu tinkamai apsirašyti robots.txt failą, kuriame reikalinga nurodyti, kurias svetaines dalis galima indeksuoti, o kurių indeksuoti paieškos sistemų robotams negalima, pvz., prisijungimo prie administravimo dalies puslapio ir pan.

Sukurti crawl-delay taisykles, kurios sulėtins roboto užklausų skaičių iki 1 užklausos per Jūsų nurodytą laiko periodą. Tačiau svarnu atkreipti dėmesį, kad ne visi robotai paiso crawl-delay nustatymų, todėl įsivertinus neaktualius robotus, jiems prieigą reikėtų uždrausti.

Kaip robots.txt failą galima valdyti serverio lygmenyje galite matyti '''[https://www.iv.lt/pagalba/Paie%C5%A1kos_robot%C5%B3_ir_skaitytuv%C5%B3_valdymas čia]'''

Tačiau kartais tai patogu atlikti ir iš turinio valdymo sistemos administravimo dalies, tuo labiau, kad kai kurios sistemos sugeneruoja standartinį failą su iškart įtrauktomis nuorodomis, kurių indeksuoti negalima, o kurias galima.

=== Wordpress ===

'''1.''' Turinio valdymo sistemoje robots.txt failą galima valdyti įskiepio pagalba, vienas tokių '''[https://wordpress.org/plugins/wordpress-seo/ Yoast SEO]'''. Instaliuokite šį įskiepį paspaudę '''"Install"''':

[[Vaizdas:1 wp yoast seo selected.png|500px]]

'''2.''' Paspauskite '''"Activate"''':

[[Vaizdas:2 wp activate selected.png|500px]]

'''3.''' Pasirinkite '''"Tools"''' skiltį šio įrankio meniu:

[[Vaizdas:3 wp tools selected.png]]

'''4.''' Pasirinkite '''"File Editor"''':

[[Vaizdas:4 tools fileeditor selected.png|1000px]]

'''5.''' Jums bus pateiktas toks failas, koks yra serveryje, jį koreguoti galėsite per administravimo aplinką ir visi pakeitimai bus išsaugoti:

[[Vaizdas:5 wp robots txt selected.png|1000px]]

=== Prestashop ===

'''1.''' Prisijunkite prie turinio valdymo sistemos Prestashop administravimo dalies ir pasirinkite '''"Duomenų srautas ir SEO"''' (''Traffic & SEO'') skiltyje '''"Konfigūruoti"''' (''Shop Parameters''):

[[Vaizdas:1 prestashop selected crawl.png|200px]]

'''2.''' Pačioje nustatymų apačioje matysite skiltį '''"Robots bylos generavimas"''' (''Robots file generation'') ir mygtuką '''"Generuoti robots.txt bylą"''' (''Generate robots.txt file''):

[[Vaizdas:2 presta selected crawl.png|1000px]]

Pavyzdinis ''Prestashop'' sistemos sugeneruoto failo turinys:

{| class="mw-collapsible mw-collapsed wikitable"
!
|-
|

# robots.txt automatically generated by PrestaShop e-commerce open-source solution
# https://www.prestashop.com - https://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# https://www.robotstxt.org/robotstxt.html
User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
Allow: */modules/*.png
Allow: */modules/*.jpg
Allow: */modules/*.gif
Allow: */modules/*.svg
Allow: */modules/*.webp
Allow: /js/jquery/*
# Private pages
Disallow: /*?order=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&order=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=registration
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories for prestashop.mano-svetaine.online
Disallow: /app/
Disallow: /cache/
Disallow: /classes/
Disallow: /config/
Disallow: /controllers/
Disallow: /download/
Disallow: /js/
Disallow: /localization/
Disallow: /log/
Disallow: /mails/
Disallow: /modules/
Disallow: /override/
Disallow: /pdf/
Disallow: /src/
Disallow: /tools/
Disallow: /translations/
Disallow: /upload/
Disallow: /var/
Disallow: /vendor/
Disallow: /webservice/
Disallow: /en/app/
Disallow: /en/cache/
Disallow: /en/classes/
Disallow: /en/config/
Disallow: /en/controllers/
Disallow: /en/download/
Disallow: /en/js/
Disallow: /en/localization/
Disallow: /en/log/
Disallow: /en/mails/
Disallow: /en/modules/
Disallow: /en/override/
Disallow: /en/pdf/
Disallow: /en/src/
Disallow: /en/tools/
Disallow: /en/translations/
Disallow: /en/upload/
Disallow: /en/var/
Disallow: /en/vendor/
Disallow: /en/webservice/
Disallow: /lt/app/
Disallow: /lt/cache/
Disallow: /lt/classes/
Disallow: /lt/config/
Disallow: /lt/controllers/
Disallow: /lt/download/
Disallow: /lt/js/
Disallow: /lt/localization/
Disallow: /lt/log/
Disallow: /lt/mails/
Disallow: /lt/modules/
Disallow: /lt/override/
Disallow: /lt/pdf/
Disallow: /lt/src/
Disallow: /lt/tools/
Disallow: /lt/translations/
Disallow: /lt/upload/
Disallow: /lt/var/
Disallow: /lt/vendor/
Disallow: /lt/webservice/
# Files
Disallow: /*en/password-recovery
Disallow: /*en/address
Disallow: /*en/addresses
Disallow: /*en/login
Disallow: /*en/registration
Disallow: /*en/cart
Disallow: /*en/discount
Disallow: /*en/order-history
Disallow: /*en/identity
Disallow: /*en/my-account
Disallow: /*en/order-follow
Disallow: /*en/credit-slip
Disallow: /*en/order
Disallow: /*en/search
Disallow: /*en/guest-tracking
Disallow: /*en/order-confirmation
Disallow: /*lt/slaptazodzio-atkurimas
Disallow: /*lt/adresas
Disallow: /*lt/adresai
Disallow: /*lt/prisijungimas
Disallow: /*lt/registracija
Disallow: /*lt/krepselis
Disallow: /*lt/nuolaida
Disallow: /*lt/uzsakymo-istorija
Disallow: /*lt/asmenine-informacija
Disallow: /*lt/mano-paskyra
Disallow: /*lt/uzsakymo-sekimas
Disallow: /*lt/kredito-kvitas
Disallow: /*lt/uÅ¾sakymas
Disallow: /*lt/paieska
Disallow: /*lt/svecio-paskyra
Disallow: /*lt/uzsakymo-patvirtinimas
|}

'''SVARBU''': šis sugeneruotas failas perrašys robots.txt failą, jei serveryje toks yra sukurtas.

← Ankstesnė versija		07:06, 27 gegužės 2024 versija
298 eilutė:		298 eilutė:

	[[Kategorija:Talpinimo plano naudojimas]]		[[Kategorija:Talpinimo plano naudojimas]]
		+	[[Kategorija:Profesionalus_hostingas]]

← Ankstesnė versija		07:00, 27 gegužės 2024 versija
296 eilutė:		296 eilutė:

	'''SVARBU''': šis sugeneruotas failas perrašys robots.txt failą, jei serveryje toks yra sukurtas.		'''SVARBU''': šis sugeneruotas failas perrašys robots.txt failą, jei serveryje toks yra sukurtas.
		+
		+	[[Kategorija:Talpinimo plano naudojimas]]

Svetainės indeksavimo valdymas - Versijų istorija

IV AgnėŽ 07:06, 27 gegužės 2024

IV AgnėŽ 07:00, 27 gegužės 2024

IV AgnėŽ: Naujas puslapis: Paieškos sistemų robotai ir skaitytuvai neretai indeksuodami Jūsų svetainę gali sukelti jos neveikimą, serverio apkrovą, kadangi dauguma paieškos sistemų robotų, tokie...