Todas Standard · Punkt 63 · Onlinebutiken
robots.txt: sökrobotar släpps in, träningsrobotar är ett val
Todas Standard 2026 v1.0
Kravet
Sökmotorernas och AI-tjänsternas sökrobotar släpps in. Butiken har tagit ställning till robotar som samlar data för träning, och robots.txt följer valet.
Varför det spelar roll
Stängs sökrobotarna ute syns butiken inte i Google eller i AI-tjänsternas svar, och valet om träningsrobotar är butikens eget.
Gäller när
Alla butiker
Så testar vi
Läs robots.txt mot listan över robotar, till exempel OAI-SearchBot för sökning och GPTBot för träning.
Grund
Plattform: AI-tjänsterna, Google
Källor
- AI-tjänsterna: OpenAI:s och Perplexitys dokumentation om sina sökrobotar