Īsumā

  • robots.txt ir vienīgais no trim, par kuru visi trīs lielie izstrādātāji (OpenAI, Google, Anthropic) savā dokumentācijā apraksta, kā ar to atļaut vai aizliegt viņu rāpuļus. Rāpulis ir programma, kas automātiski apmeklē mājaslapas un nolasa to saturu.
  • llms.txt ir priekšlikums, ko 2024. gada 3. septembrī publicēja Džeremijs Hovards (Jeremy Howard). Tas nav pieņemts standarts.
  • Google 2026. gada 15. jūnijā savā dokumentācijā pierakstīja: Google meklētājs llms.txt failus neņem vērā, un šāds fails redzamību meklētājā ne uzlabo, ne pasliktina.
  • Strukturētie dati palīdz Google saprast lapu un dod iespēju uz paplašinātiem meklēšanas rezultātiem. Google raksta, ka AI atbildēm tie nav obligāti un īpaša «AI marķējuma» nav.
  • OpenAI un Anthropic lapās par rāpuļiem, ko atvērām 2026. gada 15. novembrī, llms.txt kā vadības līdzeklis nav minēts.

Kas ir šie trīs termini vienkāršiem vārdiem?

Visi trīs ir veidi, kā mājaslapa «sarunājas» ar programmām, nevis ar cilvēkiem. Taču to uzdevumi ir atšķirīgi, un atšķiras arī tas, cik daudz par tiem ir apstiprinājuši paši AI izstrādātāji.

TerminsKas tas irKas ir dokumentētsKas ir pieņēmums
robots.txtTeksta fails lapas saknē, kas rāpuļiem pasaka, kuras sadaļas drīkst apmeklētOpenAI, Google un Anthropic apraksta savus rāpuļus un to, kā tos atļaut vai aizliegtKa fails pasargā slepenu saturu. Tas ir lūgums, nevis slēdzene
llms.txtTeksta fails Markdown formātā ar lapas nosaukumu, īsu aprakstu un saišu sarakstu AI rīkiemPriekšlikuma teksts llmstxt.org. Google: meklētājs to neizmantoKa ChatGPT, Gemini vai Claude šī faila dēļ tevi pieminēs biežāk
Strukturētie datiKods lapā, kas mašīnai saprotamā veidā pasaka «šis ir uzņēmums, šī ir cena, šis ir jautājums»Google tos izmanto lapas satura saprašanai un paplašinātiem rezultātiemKa ir īpašs marķējums, kas ieliek lapu AI atbildēs

Ko par robots.txt raksta OpenAI, Google un Anthropic?

Šeit dokumentācija ir visskaidrākā. Katram uzņēmumam ir vairāki rāpuļi ar atšķirīgiem uzdevumiem, un tos var atļaut vai aizliegt atsevišķi.

UzņēmumsNosaukums robots.txt failāKam tas domāts pēc paša uzņēmuma apraksta
OpenAIGPTBotVāc saturu, ko var izmantot modeļu apmācībā
OpenAIOAI-SearchBotNodrošina, ka lapa var parādīties ChatGPT meklēšanas rezultātos
OpenAIChatGPT-UserAtver lapu, kad to ierosina ChatGPT lietotājs
AnthropicClaudeBotVāc saturu, ko var izmantot modeļu apmācībā
AnthropicClaude-SearchBotApmeklē lapas, lai uzlabotu meklēšanas rezultātu kvalitāti
AnthropicClaude-UserAtver lapu, kad Claude lietotājs uzdod jautājumu
GoogleGooglebotApmeklē lapas Google meklētājam un visām tā funkcijām
GoogleGoogle-ExtendedNosaka, vai saturu drīkst izmantot Gemini modeļu apmācībā un atbilžu pamatošanā Gemini lietotnēs un Vertex AI

Dažas detaļas, kas dokumentācijā pateiktas tieši:

  • OpenAI raksta, ka katrs iestatījums ir neatkarīgs. Piemēram, vari atļaut OAI-SearchBot, lai lapa varētu parādīties ChatGPT meklēšanā, un vienlaikus aizliegt GPTBot. Pēc izmaiņām robots.txt failā var paiet aptuveni 24 stundas, līdz meklēšanas sistēma tās ņem vērā.
  • Par ChatGPT-User OpenAI raksta atklāti: tā kā šos apmeklējumus ierosina lietotājs, robots.txt noteikumi uz tiem var neattiekties.
  • Anthropic raksta, ka tā roboti ievēro robots.txt norādes. Ja aizliedz Claude-User vai Claude-SearchBot, tas var samazināt lapas redzamību Claude lietotāju meklēšanas rezultātos.
  • Google raksta, ka Google-Extended neietekmē lapas iekļaušanu Google meklētājā un nav ranžēšanas signāls. AI atbildes Google meklētājā (AI Overviews, AI Mode) pārvalda ar parastajiem Googlebot noteikumiem un priekšskatījuma iestatījumiem, kas nosaka, cik daudz teksta no lapas meklētājs drīkst rādīt.

Ko robots.txt nespēj?

robots.txt standartā (RFC 9309, publicēts 2022. gada septembrī) ir teikts, ka šie noteikumi nav piekļuves atļauju veids. Google to pasaka vēl vienkāršāk: ievērot failu vai ne, izlemj pats rāpulis, un daļa rāpuļu to var neievērot. Turklāt robots.txt nav paredzēts, lai lapu izņemtu no Google. Aizliegta adrese joprojām var parādīties rezultātos, ja uz to ved saites no citām lapām. Ja lapai jāpazūd no meklētāja, Google iesaka «noindex» norādi (atzīmi lapas kodā, kas lūdz lapu nerādīt meklētājā) vai paroli.

Kas par llms.txt ir apstiprināts un kas ir pieņēmums?

Apstiprināts ir tas, ko raksta paši autori un izstrādātāji:

  • llms.txt ir priekšlikums. Tā to sauc paši autori savā lapā llmstxt.org, kuras teksts pēdējo reizi atjaunināts 2026. gada augustā.
  • Fails parasti atrodas lapas saknē (piemēram, tavsdomens.lv/llms.txt) un ir rakstīts Markdown formātā. Obligāts ir tikai virsraksts ar lapas vai projekta nosaukumu, pārējais (īss kopsavilkums, saišu saraksti pa sadaļām) ir pēc izvēles.
  • Autori raksta, ka failu galvenokārt paredzējuši brīdim, kad AI rīks gatavo atbildi, nevis modeļu apmācībai. Tam ir cits uzdevums nekā robots.txt un sitemap.xml, tāpēc tas šos failus neaizstāj.
  • Google savā ceļvedī par ģeneratīvā AI funkcijām raksta, ka Google meklētājs šādus failus neizmanto. Uzturēt llms.txt drīkst, bet redzamībai Google meklētājā tas ne palīdz, ne kaitē.
  • OpenAI izstrādātāju dokumentācijai pašai ir savs llms.txt kā satura rādītājs. Tas rāda, ka formāts tiek lietots dokumentācijas lapās, bet tas nav apgalvojums par to, ko lasa ChatGPT.

Pieņēmums ir viss pārējais. Lapās par rāpuļiem, ko atvērām, ne OpenAI, ne Anthropic neraksta, ka viņu rāpuļi llms.txt nolasa vai ka tas ietekmē atbildes. Apgalvojums «ar llms.txt AI asistenti tevi pieminēs biežāk» tāpēc šobrīd ir cerība, nevis dokumentēts fakts. Tas var mainīties, tāpēc pirms lēmuma pārbaudi izstrādātāju lapas vēlreiz.

Vai failu veidot? Tas prasa maz darba, un Google raksta, ka meklētājā tas par sliktu nenāk. Ja tavā lapā ir daudz dokumentācijas vai pamācību, tas var noderēt rīkiem, kas šo formātu izmanto. Taču to nav vērts uzskatīt par AI redzamības pamatu. Vairāk par to, kas redzamību veido, lasi rakstā Kas ir AI redzamība un ar ko tā atšķiras no parastā SEO?.

Ko par strukturētajiem datiem raksta Google?

Google strukturētos datus definē kā standartizētu formātu, kas sniedz informāciju par lapu un klasificē tās saturu. Lielākoties tiek izmantota schema.org vārdnīca, un Google iesaka JSON-LD formātu (koda bloks lapas kodā, ko apmeklētājs neredz), ja lapas uzbūve to ļauj.

Dokumentēti ir trīs fakti:

  • Google izmanto strukturētos datus, lai saprastu lapas saturu. Tie dod iespēju uz paplašinātiem rezultātiem, taču Google negarantē, ka tie meklētājā parādīsies.
  • Ģeneratīvā AI meklēšanai strukturētie dati nav obligāti, un īpaša schema.org marķējuma tam nav. Google tomēr iesaka tos turpināt lietot kā daļu no parastā SEO.
  • Marķējumā drīkst būt tikai tas, kas redzams arī pašā lapā. Marķējumu Google iesaka pārbaudīt ar savu rīku «Rich Results Test».

Par to, vai strukturētie dati ietekmē ChatGPT vai Claude atbildes, OpenAI un Anthropic lapās par rāpuļiem nekas nav rakstīts. Tas arī ir pieņēmums.

Ko vari pārbaudīt pats 10 minūtēs?

Šie soļi ir tikai skatīšanās, ar tiem neko nevar sabojāt.

  1. Pārlūka adreses joslā ieraksti savu domēnu un galā pievieno /robots.txt. Ja fails atveras, redzēsi tā saturu.
  2. Meklē rindas «User-agent» ar nosaukumiem no tabulas augstāk. Ja zem kāda no tiem ir «Disallow: /», šis rāpulis ir aizliegts visā lapā.
  3. Pārbaudi, vai nav rindas «User-agent: *» ar «Disallow: /». Tā aizliedz visus rāpuļus, kuriem failā nav savu atsevišķu noteikumu, arī Googlebot. Bieži redzam, ka šāda rinda paliek no lapas izstrādes laika.
  4. Izlem atsevišķi par apmācību un par meklēšanu. Apmācības rāpuļus (GPTBot, ClaudeBot, Google-Extended) var aizliegt, neaiztiekot meklēšanas rāpuļus.
  5. Ja lapā ir strukturētie dati, pārliecinies, ka tajos rakstītais (adrese, darba laiks, cenas) sakrīt ar to, kas redzams lapā.
  6. Par llms.txt izlem pēdējo. Vispirms sakārto to, kas ir dokumentēts.

Ja lapa neparādās arī parastajā Google meklētājā, sāc ar rakstu Kāpēc mana mājaslapa neparādās Google? 7 pārbaudes bez programmētāja. Lapas tehnisko stāvokli vari pārbaudīt arī ar mūsu mājaslapas audita rīku DigifyScope.

Kad lūgt palīdzību

Lūdz palīdzību, ja robots.txt failā redzi aizliegumus, kurus pats neesi licis, vai ja neesi drošs, kuru rindu drīkst mainīt. Viena nepareiza rinda var aizvērt visu lapu meklētājiem, tāpēc izmaiņas labāk veikt kopā ar cilvēku, kurš lapu uztur. Mēs paši šādu pakalpojumu sniedzam lapas uzturēšanas ietvaros. Ja tev piedāvā llms.txt vai strukturētos datus kā atsevišķu AI redzamības pakalpojumu, palūdz parādīt, uz kuru izstrādātāja dokumentācijas lapu solījums balstās.