robots.txt i sitemap.xml: vodič za pravilno podešavanje

Na većini sajtova postoje dva fajla koje posetioci nikada ne vide, a pretraživači ih čitaju redovno. To su robots.txt i sitemap.xml. Prvi govori botovima koje delove sajta ne treba da obilaze, a drugi im daje spisak adresa koje želite da pronađu. Kada su dobro podešeni, gotovo da ne primećujete da postoje. Kada nisu, mogu da sakriju ceo sajt iz pretrage ili da Google-u serviraju gomilu nevažnih stranica.

Šta radi robots.txt, a šta ne radi

robots.txt je običan tekstualni fajl koji se nalazi u korenu domena, na adresi vasdomen.rs/robots.txt. U njemu se, po pravilima Robots Exclusion Protocol-a, navodi koji botovi smeju da obilaze koje putanje. Važi samo za domen, poddomen i protokol na kome se nalazi, pa shop.vasdomen.rs mora da ima svoj fajl.

Najvažnija stvar koju treba razumeti: robots.txt kontroliše obilaženje, a ne indeksiranje. Ako zabranite neku stranicu, Google je neće čitati, ali je i dalje može prikazati u rezultatima ako na nju vode linkovi, samo bez opisa. Za sklanjanje stranice iz pretrage služi oznaka noindex, a nju Google može da vidi samo ako sme da otvori stranicu.

Kako izgleda ispravan robots.txt

Za tipičan WordPress sajt ili manji web shop dovoljan je kratak fajl:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /korpa/
Disallow: /?s=

Sitemap: https://www.vasdomen.rs/sitemap.xml

Značenje redova:

• User-agent: * – pravila važe za sve botove. Mogu se navesti i posebna pravila za pojedine botove, na primer Googlebot.
• Disallow – putanja koju bot ne treba da obilazi. Prazan Disallow znači da je sve dozvoljeno.
• Allow – izuzetak unutar zabranjene putanje.
• Sitemap – puna adresa sitemap-a; može ih biti više.

Google podržava i džokere: zvezdica (*) zamenjuje bilo koji niz znakova, a znak $ označava kraj adrese. Direktivu Crawl-delay Google ignoriše. Pravila su osetljiva na velika i mala slova u putanji, pa /Korpa/ i /korpa/ nisu isto.

Najopasnija greška: zaboravljena zabrana celog sajta

Dok se sajt pravi na test adresi, često se postavi ovakav robots.txt:

User-agent: *
Disallow: /

Te dve linije zabranjuju obilaženje celog sajta. Ako se isti fajl prenese na pravi domen, Google postepeno prestaje da vidi sadržaj. Kod WordPress-a isti efekat ima opcija „Obeshrabri pretraživače da indeksiraju ovaj sajt“. Zato je provera robots.txt obavezan korak pri svakom lansiranju i redizajnu, o čemu više pišemo u tekstu o migraciji sajta bez gubitka pozicija.

Druga česta greška je blokiranje CSS i JavaScript fajlova. Google prikazuje stranicu kao pregledač, i ako ne može da učita stilove i skripte, može pogrešno proceniti izgled i sadržaj.

Šta je sitemap.xml i kome treba

Sitemap je XML fajl sa spiskom adresa koje želite da pretraživači pronađu. Najkorisniji je za veće sajtove, nove sajtove sa malo spoljnih linkova i web shopove sa mnogo proizvoda. Kod malog sajta sa dobrom internom navigacijom Google bi stranice verovatno našao i bez njega, ali sitemap ne škodi i olakšava praćenje u Search Console. Osnovni oblik izgleda ovako:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://www.vasdomen.rs/</loc>
    <lastmod>2026-09-20</lastmod>
  </url>
  <url>
    <loc>https://www.vasdomen.rs/usluge/izrada-kuhinja/</loc>
    <lastmod>2026-08-14</lastmod>
  </url>
</urlset>

Pravila koja vredi znati:

• jedan sitemap može imati najviše 50.000 adresa i 50 MB nekompresovanog sadržaja; za veće sajtove pravi se indeksni sitemap koji povezuje više fajlova;
• adrese moraju biti pune i apsolutne, sa ispravnim protokolom i verzijom domena (sa ili bez www);
• oznaku lastmod Google koristi samo ako je dosledno tačna, a changefreq i priority ignoriše;
• fajl mora biti u UTF-8 kodiranju, a posebni znakovi u adresama pravilno kodirani.

Šta ubaciti u sitemap, a šta ne

Sitemap treba da sadrži samo kanonske adrese koje vraćaju status 200 i koje želite u pretrazi. U njemu ne bi trebalo da budu:

• stranice sa oznakom noindex;
• adrese koje preusmeravaju ili vraćaju grešku 404;
• duplikati sa parametrima, na primer ?sort=cena;
• stranice zahvalnosti, korpa, nalog korisnika;
• prazne stranice oznaka i arhive bez stvarnog sadržaja.

Sitemap pun takvih adresa šalje Google-u zbunjujuće signale. Kada se u Search Console pojave stranice „poslate u sitemap-u, ali neindeksirane“, prvo proverite da li tu uopšte treba da budu. Tumačenje tih statusa objasnili smo u tekstu zašto stranice nisu indeksirane.

Kako proveriti i prijaviti oba fajla

1. Otvorite vasdomen.rs/robots.txt u pregledaču i proverite da nema zabrane celog sajta.
2. U Search Console, u podešavanjima, izveštaj o robots.txt pokazuje koju verziju fajla Google vidi i da li ima grešaka.
3. Alatom za proveru adrese (URL Inspection) proverite da li važne stranice nisu blokirane.
4. U odeljku Sitemaps unesite adresu sitemap-a i pratite broj otkrivenih adresa.
5. Adresu sitemap-a navedite i u robots.txt, da bi je pronašli i drugi pretraživači.

Stari način obaveštavanja Google-a „pingovanjem“ sitemap-a više ne radi, pa je prijava kroz Search Console i navođenje u robots.txt dovoljno. Ceo tehnički pregled sajta, uključujući ove korake, nalazi se u tehničkoj SEO ček-listi.

Zaključak

robots.txt i sitemap.xml su jednostavni, ali jedna pogrešna linija može poništiti mesece rada na sajtu. Zapamtite osnovno pravilo: robots.txt upravlja obilaženjem, noindex upravlja indeksiranjem, a sitemap samo pomaže otkrivanju važnih stranica. Ako niste sigurni šta vaši fajlovi trenutno govore Google-u, javite nam se i proverićemo podešavanja i izveštaje u Search Console umesto vas.