AI Agenti i robots.txt: Kako da kontrolišete pristup Vašem sajtu

Svet pretrage se menja brže nego ikada. Dok se donedavno cela priča vrtela oko Google-ovog crawler-a i klasičnog SEO-a, danas Vaš sajt posećuje čitava nova generacija posetilaca — AI agenti. Ovi automatizovani botovi prikupljaju sadržaj kako bi trenirali velike jezičke modele (poput ChatGPT-a, Claude-a ili Gemini-ja) i kako bi odgovarali na pitanja korisnika u realnom vremenu.

Za vlasnike malih preduzeća ovo otvara jedno ključno pitanje: Da li želite da AI agenti pristupaju Vašem sadržaju — i pod kojim uslovima? Odgovor nije jednostavan, a alat kojim se ta kontrola ostvaruje jeste jedan mali, ali moćan fajl: robots.txt.

U ovom tekstu ćemo Vam objasniti šta su AI agenti, kako funkcioniše robots.txt, koje botove treba da poznajete i kako da donesete strateški ispravnu odluku za Vaše poslovanje.

Šta je robots.txt i zašto je važniji nego ikada

robots.txt je običan tekstualni fajl koji se nalazi u korenu Vašeg sajta (na primer vassajt.rs/robots.txt). Njegova svrha je jednostavna — daje instrukcije automatizovanim botovima o tome kojim delovima sajta smeju da pristupe, a kojim ne.

Godinama je ovaj fajl služio prvenstveno za komunikaciju sa pretraživačima poput Google-a i Bing-a. Međutim, sa eksplozijom veštačke inteligencije, robots.txt je dobio potpuno novu ulogu — postao je prva linija odbrane (ili poziva) za AI agente.

Važno je razumeti jednu stvar: robots.txt funkcioniše na principu dobrovoljnog poštovanja pravila. To znači da renomirani botovi (Google, OpenAI, Anthropic) poštuju Vaše direktive, ali fajl sam po sebi tehnički ne blokira pristup — on je više znak upozorenja nego zaključana vrata. Za pravu tehničku zaštitu potrebne su dodatne mere, o čemu ćemo govoriti kasnije.

Koji AI agenti pretražuju Vaš sajt

Da biste kontrolisali pristup, prvo morate znati koga blokirate ili propuštate. Evo najvažnijih AI agenata koje danas treba da poznajete:

• GPTBot — OpenAI-jev crawler koji prikuplja podatke za treniranje modela (ChatGPT).
• OAI-SearchBot — OpenAI-jev bot za pretragu u realnom vremenu (ChatGPT search).
• ChatGPT-User — pojavljuje se kada korisnik direktno traži od ChatGPT-a da poseti određenu stranicu.
• ClaudeBot — Anthropic-ov crawler za treniranje Claude modela.
• Google-Extended — Google-ova posebna direktiva za AI (Gemini, Vertex AI), odvojena od klasičnog Googlebot-a.
• PerplexityBot — bot AI pretraživača Perplexity.
• Bytespider — crawler kompanije ByteDance (TikTok).
• CCBot — Common Crawl bot, čiji podaci se koriste za treniranje mnogih AI modela.

Svaki od ovih botova ima svoj user-agent naziv koji koristite u robots.txt fajlu da biste ga adresirali.

Kako napisati robots.txt za kontrolu AI agenata

Sintaksa je jednostavnija nego što mislite. Svaki blok se sastoji od dva dela: User-agent (koji bot) i Disallow ili Allow (šta sme).

Primer 1: Blokiranje svih glavnih AI botova. Za svaki bot navodite njegov User-agent naziv, a zatim direktivu Disallow: / koja označava ceo sajt. Na primer, blok počinje sa User-agent: GPTBot, u sledećem redu ide Disallow: /, i tako redom za ClaudeBot, Google-Extended, CCBot i PerplexityBot. Ovim ste rekli navedenim botovima da ne pristupaju nijednom delu sajta.

Primer 2: Dozvola za AI pretragu, ali zabrana za treniranje. Ovde je logika suptilna — za GPTBot postavite Disallow: /, dok za OAI-SearchBot postavite Allow: /. Time dozvoljavate da Vas ChatGPT prikazuje u rezultatima pretrage (što donosi vidljivost), ali ne dozvoljavate da se Vaš sadržaj koristi za treniranje modela.

Primer 3: Blokiranje samo osetljivih delova sajta. Za GPTBot možete navesti više Disallow linija, poput Disallow: /admin/, Disallow: /korpa/ i Disallow: /nalog/, a zatim Allow: / za ostatak. Ova strategija propušta AI agente do javnog sadržaja, ali čuva privatne i transakcione delove.

Ako niste sigurni kako da bezbedno implementirate ove izmene bez rizika po funkcionalnost sajta, naš tim za održavanje sajtova može to preuzeti umesto Vas.

Blokirati ili dozvoliti? Strateška odluka za Vaš biznis

Ovo je pitanje koje deli mišljenja i za koje ne postoji univerzalno tačan odgovor. Odluka zavisi od prirode Vašeg poslovanja.

Razlozi da DOZVOLITE pristup AI agentima:

• Vidljivost u AI pretrazi. Sve više ljudi postavlja pitanja direktno ChatGPT-u ili Perplexity-ju umesto Google-u. Ako Vas AI ne vidi, ne možete biti preporučeni kao odgovor. Ovo je novi front borbe za pažnju kupaca, srodan klasičnoj SEO optimizaciji.
• Besplatna promocija. Kada AI preporuči Vašu firmu kao rešenje, to je oblik preporuke bez ulaganja u oglase.
• Buduća relevantnost. Trend AI pretrage tek raste — blokiranje danas može značiti nevidljivost sutra.

Razlozi da BLOKIRATE pristup AI agentima:

• Zaštita originalnog sadržaja. Ako ste uložili resurse u jedinstvene tekstove, istraživanja ili baze podataka, možda ne želite da AI modeli to koriste bez naknade.
• Konkurentska prednost. Vaš sadržaj može biti deo onoga što Vas izdvaja — ne želite da postane opšte znanje u AI modelu.
• Kontrola brenda. AI ponekad pogrešno interpretira ili prezentuje informacije, što može štetiti Vašem brendu.

Za većinu malih preduzeća koja žive od lokalnih klijenata i vidljivosti — restorane, servise, agencije — preporučujemo hibridni pristup: dozvolite botovima za pretragu (kako biste bili vidljivi), a razmotrite blokiranje botova za treniranje ako imate vredan, originalan sadržaj. Slično strategiji koju smo primenili u SEO kampanji za Stečaj.rs, gde je vidljivost u pretrazi bila ključna za rezultate.

Ograničenja robots.txt i dodatne mere zaštite

Kao što smo pomenuli, robots.txt se oslanja na dobru volju botova. Renomirane kompanije ga poštuju, ali agresivni ili neetički crawler-i mogu ga jednostavno ignorisati.

Ako Vam je potrebna prava tehnička zaštita, razmotrite sledeće:

1. Blokiranje na nivou servera (firewall/WAF). Možete blokirati pristup na osnovu IP adresa ili user-agent stringa direktno na serveru — ovo je stvarna barijera, ne samo preporuka.
2. Cloudflare AI bot blocking. Cloudflare nudi jednim klikom mogućnost blokiranja poznatih AI crawler-a, što je mnogo pouzdanije od robots.txt-a.
3. Zaštita iza logina. Sav sadržaj koji zahteva prijavu automatski je nedostupan botovima.
4. Meta tagovi. Oznake poput noai i noimageai u HTML-u dodatno signaliziraju AI agentima Vaše želje.

Za naprednije scenarije, poput custom development rešenja sa specifičnom logikom pristupa, potrebna je stručna implementacija na nivou aplikacije i infrastrukture.

Kako da počnete — praktični koraci

Evo jednostavnog plana koji možete primeniti već danas:

1. Proverite trenutni robots.txt. Ukucajte vassajt.rs/robots.txt u pretraživač i vidite šta je trenutno definisano.
2. Analizirajte logove servera. Pogledajte koji botovi Vas najčešće posećuju — to će Vam pokazati ko je zaista aktivan.
3. Donesite stratešku odluku. Na osnovu prirode Vašeg biznisa odlučite: dozvola, zabrana ili hibrid.
4. Implementirajte i testirajte. Napravite izmene, a zatim proverite da niste slučajno blokirali Google-ov glavni crawler (što bi štetilo klasičnom SEO-u).
5. Redovno revidirajte. Novi AI botovi se pojavljuju stalno — lista se menja iz meseca u mesec.

Ako Vam ceo ovaj proces deluje previše tehnički, tu smo da pomognemo. Naš tim se svakodnevno bavi ovakvim izazovima kroz AI rešenja i tehničku optimizaciju sajtova.

Zaključak

AI agenti su nova realnost weba, a robots.txt je Vaš prvi alat za upravljanje njihovim prisustvom. Ključno je razumeti da ne postoji jedno tačno rešenje — postoji samo ono koje odgovara Vašim poslovnim ciljevima.

Ako Vam je vidljivost najvažnija, dozvolite AI botovima za pretragu i budite tamo gde Vaši budući klijenti postavljaju pitanja. Ako štitite jedinstven, vredan sadržaj, primenite selektivno blokiranje i dodatne tehničke mere. Za većinu malih preduzeća, hibridni pristup pruža najbolji balans između vidljivosti i kontrole.

Bez obzira na to za koji pristup se odlučite, važno je da odluku donesete svesno, a ne da je prepustite slučaju. Ako želite da Vaš sajt bude spreman za eru AI pretrage i da istovremeno štiti Vaše interese, kontaktirajte nas — pomoći ćemo Vam da postavite pravu strategiju.