OpenAI vil understøtte et fælles signal, som gør det lettere for websteder at angive, om deres indhold må bruges til træning af generativ AI. Signalet skal ligge i robots.txt, hvor websteder allerede kommunikerer med automatiske crawlere.
I stedet for at vedligeholde separate regler for hver udbyder skal en udgiver kunne formidle samme valg til flere deltagende selskaber. Det er en frivillig ordning, ikke en garanti for, at alle AI-tjenester følger valget.
Ikke indført endnu
OpenAI sigter mod at gennemføre støtten i de kommende måneder og vil offentliggøre flere detaljer, når implementeringen er klar. De nuværende crawlerkontroller bliver ikke erstattet og vil fortsat blive respekteret, oplyser selskabet.
Fælles valg kræver flere deltagere
Initiativet bygger på arbejdet i IETF-gruppen AI Preferences. OpenAI opfordrer andre udbydere til at understøtte signalet.
For webstedsejere er forskellen derfor først og fremmest mindre vedligeholdelse: Ét fælles valg kan afløse flere individuelle regler hos de selskaber, der tilslutter sig.
Opdateret 2. november: Forskellige tidsplaner hos Google og Microsoft
Google vil understøtte det fælles signal i 2027, men angiver ikke en præcis startdato. Hvis et websted afviser træning gennem signalet uden samtidig at angive en særskilt Google-Extended-regel, vil Google behandle det som en afvisning af Google-Extended. Eksisterende særregler består.
Microsoft angiver 1. februar 2027 som start, efterhånden som selskabet genbesøger siderne. Det er ikke en garanti for, at alle websteder har fået de nye præferencer registreret den dag.
Træning og AI-svar er to forskellige valg
Microsoft adskiller AI Training fra AI Grounding i blandt andet Bing og Copilot. Træning handler om at ændre modellens lærte parametre. Grounding er brugen af indhold, når et AI-svar bliver dannet. Hos Microsoft styres grounding særskilt på sideniveau; træningsvalget alene er derfor ikke et generelt nej til brug i AI-svar.
Google fremhæver samtidig, at Google-Extended kan have betydning for, om indhold indgår i svar og kildehenvisninger i Gemini Apps. Det er noget andet end placering i almindelig søgning.
Et forslag, ikke en færdig standard
Det publicerede Internet-Draft beskriver en gruppe med User-Agent: __usage_ai-training og Disallow: /. Signalet udtrykker en præference for brugen af indholdet, ikke en teknisk spærring for, at en crawler henter siden.
Dokumentet er et individuelt udkast i IETF-systemet. Dets udløbsdato er 3. maj 2027.
OpenAI sigter mod at gennemføre støtten i de kommende måneder.
Kilder: OpenAI meddelelse, Google Search Central meddelelse, Microsoft Bing meddelelse, IETF dokument.
Aktører i artiklen








