Μπορεί μια ιστοσελίδα να παραμένει ορατή στην Αναζήτηση Google και ταυτόχρονα να δηλώνει ότι το περιεχόμενό της δεν διατίθεται για εκπαίδευση συστημάτων Τεχνητής Νοημοσύνης; Για συγκεκριμένες χρήσεις της Google υπάρχει ήδη σχετικός έλεγχος. Η εξέλιξη που ανακοινώθηκε στις 30 Οκτωβρίου 2026 είναι ότι η εταιρεία σχεδιάζει να αναγνωρίζει και ένα κοινό σήμα στο robots.txt. Έτσι, ένας εκδότης θα μπορεί να δηλώνει την προτίμησή του μία φορά και να τη διαβάζουν περισσότεροι πάροχοι, εφόσον την υποστηρίζουν. Η Google τοποθετεί την υποστήριξη στις αρχές του 2027. Πρόκειται για στόχο υλοποίησης. Ανακοίνωση Google Search Central.
Τι αλλάζει στο robots.txt
Το robots.txt βρίσκεται στη ρίζα του αντίστοιχου ιστοτόπου και χρησιμοποιείται εδώ και χρόνια για να δηλώνει σε αυτοματοποιημένους ανιχνευτές ποιες διαδρομές μπορούν να επισκέπτονται. Το σχέδιο αξιοποιεί την ίδια γνώριμη δομή για μια διαφορετική απόφαση, τη χρήση υλικού για εκπαίδευση. Το αναγνωριστικό __usage_ai-training γράφεται στη θέση του User-agent και δηλώνει σκοπό χρήσης. Με κανόνες Allow και Disallow, το προσχέδιο επιτρέπει επιλογές ανά διαδρομή. Ένας εκδότης θα μπορούσε, για παράδειγμα, να δηλώσει γενική άρνηση και να εξαιρέσει ένα αρχείο υλικού που έχει επιλέξει να διαθέτει για εκπαίδευση. Προσχέδιο του κοινού σήματος.
Η Google περιγράφει και πώς σχεδιάζει να χειριστεί τη συνύπαρξη των κανόνων. Εάν ο ιστότοπος δηλώνει άρνηση μέσω του κοινού σήματος και δεν ορίζει ρητά το Google-Extended, η εταιρεία σκοπεύει να εφαρμόζει την άρνηση σαν αποκλεισμό του Google-Extended. Οι ρητοί κανόνες για το Google-Extended θα συνεχίσουν να λειτουργούν, ώστε ο εκδότης να μπορεί να διαφοροποιεί την επιλογή του για την Google. Η λεπτομέρεια έχει πρακτικό βάρος, επειδή το Google-Extended καλύπτει περισσότερες χρήσεις από την εκπαίδευση. Πριν υιοθετήσει τον κοινό κανόνα, ένας ιστότοπος που θέλει παραπομπές από το Gemini χρειάζεται να εξετάσει και αυτή την πλευρά. Σχεδιαζόμενη ερμηνεία του κοινού σήματος από την Google.
Ο ρόλος του IETF και της ομάδας AIPREF
Στο Internet Engineering Task Force, η ομάδα AIPREF επεξεργάζεται κοινό λεξιλόγιο για τις προτιμήσεις χρήσης ψηφιακού υλικού από συστήματα AI. Το λεξιλόγιο ορίζει τι εννοούν οι συμμετέχοντες όταν μιλούν για συγκεκριμένες χρήσεις. Το επιμέρους προσχέδιο για το robots.txt εξετάζει πώς μεταφέρεται μία από αυτές τις προτιμήσεις με μορφή που μπορεί να διαβάσει λογισμικό. Έτσι, η συζήτηση αφορά και το νόημα του σήματος και τον τρόπο δημοσίευσής του. Το συγκεκριμένο κείμενο στο IETF Datatracker καταγράφεται ως ατομικό Internet-Draft. Η πρόθεση υποστήριξης από την Google αποτελεί βήμα υιοθέτησης, ενώ η διαδικασία τυποποίησης συνεχίζεται. Ομάδα εργασίας AIPREF · Κατάσταση του προσχεδίου.
Τι κάνει ήδη το Google-Extended
Από το 2023, η Google προσφέρει το Google-Extended ως αναγνωριστικό πολιτικής στο robots.txt. Καλύπτει τη χρήση περιεχομένου που έχει συλλέξει η Google για την εκπαίδευση μελλοντικών γενεών μοντέλων Gemini που χρησιμοποιούνται στις εφαρμογές Gemini και στο Vertex AI API για Gemini. Καλύπτει επίσης το grounding σε συγκεκριμένες υπηρεσίες Gemini και Vertex AI. Grounding είναι η παροχή σχετικού υλικού στο μοντέλο τη στιγμή που παράγει απάντηση, ώστε αυτή να μπορεί να στηριχθεί σε πληροφορίες από πηγές. Το Google-Extended χρησιμοποιεί τις υπάρχουσες υποδομές ανίχνευσης της Google. Γι’ αυτό η εφαρμογή του κανόνα δεν επιβεβαιώνεται αναζητώντας ξεχωριστό HTTP user agent με αυτό το όνομα στα αρχεία καταγραφής. Τεχνική τεκμηρίωση Google-Extended.
Ανίχνευση, ευρετηρίαση και εκπαίδευση AI
Η ανίχνευση είναι η ανάκτηση μιας σελίδας από ένα bot. Η ευρετηρίαση είναι η επεξεργασία και καταχώρισή της στο ευρετήριο της μηχανής αναζήτησης. Η κατάταξη αφορά τη θέση των αποτελεσμάτων για ένα συγκεκριμένο ερώτημα. Η εκπαίδευση χρησιμοποιεί δεδομένα για την ανάπτυξη ή βελτίωση ενός μοντέλου, ενώ η ανάκτηση υλικού κατά την απάντηση εξυπηρετεί το συγκεκριμένο ερώτημα. Η ίδια δημόσια σελίδα μπορεί να εμπλέκεται σε περισσότερες από μία από αυτές τις διαδικασίες. Γι’ αυτό έχει σημασία σε ποιο προϊόν και σε ποια χρήση απευθύνεται κάθε οδηγία.
Η Google διευκρινίζει ότι το Google-Extended δεν επηρεάζει την ένταξη στο Google Search και δεν χρησιμοποιείται ως παράγοντας κατάταξης. Οι οδηγίες προς τον Googlebot αφορούν την ανίχνευση για την Αναζήτηση και τις λειτουργίες της. Για να αποκλειστεί μια σελίδα από το ευρετήριο χρησιμοποιείται, μεταξύ άλλων, η οδηγία noindex, την οποία ο ανιχνευτής πρέπει να μπορεί να διαβάσει. Αν η σελίδα είναι αποκλεισμένη από την ανίχνευση, ο Googlebot ενδέχεται να μην δει την οδηγία και το URL μπορεί να εμφανιστεί όταν εντοπίζεται από άλλους συνδέσμους. Οδηγίες της Google για το noindex.
Τι σημαίνει για SEO και GEO
Για τις λειτουργίες AI Overviews και AI Mode μέσα στο Google Search, η Google ορίζει ως προϋπόθεση για να εμφανιστεί μια σελίδα ως πηγή να είναι ευρετηριασμένη και επιλέξιμη για εμφάνιση με απόσπασμα. Η επιλεξιμότητα δεν εγγυάται εμφάνιση. Για τον περιορισμό της προβολής αποσπασμάτων, ο εκδότης μπορεί να εξετάσει οδηγίες όπως nosnippet, max-snippet και data-nosnippet, ανάλογα με το τι θέλει να περιορίσει. Οι οδηγίες αυτές ανήκουν στην πολιτική εμφάνισης της Αναζήτησης. Τεκμηρίωση για τις λειτουργίες AI στο Google Search.
Στην πράξη, το SEO και το GEO, δηλαδή η προσπάθεια να εντοπίζεται και να αξιοποιείται ένα περιεχόμενο σε απαντήσεις παραγωγικών συστημάτων, έχουν κοινή βάση μέσα στην Αναζήτηση Google. Ένα πρωτότυπο άρθρο με καθαρή δομή, προσβάσιμο κείμενο, τεκμηριωμένους ισχυρισμούς και χρήσιμους εσωτερικούς συνδέσμους είναι ευκολότερο να βρεθεί και να διαβαστεί. Η επιλογή για εκπαίδευση πρέπει να αξιολογείται χωριστά από την απόδοση στην αναζήτηση. Για έναν εκδότη, μια παραπομπή που φέρνει επισκέπτες, η προβολή ενός αποσπάσματος και η διάθεση υλικού για εκπαίδευση έχουν διαφορετική αξία και μπορεί να δικαιολογούν διαφορετική πολιτική.
Τι μπορούν να κάνουν τώρα οι εκδότες
Μια πρακτική αφετηρία είναι η καταγραφή των σημερινών κανόνων ανά τομέα και υποτομέα, μαζί με το προϊόν που επηρεάζει ο καθένας. Ένα ενημερωτικό μέσο μπορεί να αξιολογήσει ξεχωριστά το δημόσιο αρχείο, το υλικό που προσφέρεται με άδεια και τις συνδρομητικές σελίδες. Ένας ανεξάρτητος δημιουργός μπορεί να έχει την ίδια ανάγκη όταν δημοσιεύει φωτογραφίες σε δικό του ιστότοπο αλλά φιλοξενεί μέρος του αρχείου του αλλού. Η τεχνική ρύθμιση έχει αξία όταν εφαρμόζεται στη διεύθυνση όπου είναι διαθέσιμο το υλικό και αντιστοιχεί στα δικαιώματα που πράγματι διαχειρίζεται ο εκδότης.
Όταν ανακοινωθεί η ενεργοποίηση, θα έχει σημασία να ελεγχθούν οι πάροχοι που υποστηρίζουν το σήμα, η προτεραιότητα των ειδικών κανόνων και η συμπεριφορά στις επιλεγμένες διαδρομές. Το robots.txt μεταφέρει μια δήλωση. Η αποτελεσματικότητά του εξαρτάται από τον αποδέκτη και την εφαρμογή της πολιτικής του. Για περιεχόμενο περιορισμένης πρόσβασης χρειάζεται έλεγχος πρόσβασης στον διακομιστή. Η δημοσίευση μιας νέας δήλωσης επίσης δεν τεκμηριώνει από μόνη της τι έχει συλλεχθεί στο παρελθόν ή αν παλαιότερο υλικό έχει χρησιμοποιηθεί σε ήδη εκπαιδευμένα μοντέλα. RFC 9309 για το Robots Exclusion Protocol.
Πώς συνδέεται με το ευρωπαϊκό πλαίσιο
Το άρθρο 4 της Οδηγίας (ΕΕ) 2019/790 προβλέπει εξαίρεση για εξόρυξη κειμένων και δεδομένων από υλικό στο οποίο υπάρχει νόμιμη πρόσβαση, υπό την προϋπόθεση ότι οι δικαιούχοι δεν έχουν επιφυλαχθεί ρητά για αυτή τη χρήση με κατάλληλο τρόπο. Για περιεχόμενο δημόσια διαθέσιμο στο διαδίκτυο, η οδηγία αναφέρει τα μηχαναγνώσιμα μέσα. Το άρθρο 53 του AI Act απαιτεί από τους παρόχους μοντέλων Τεχνητής Νοημοσύνης γενικού σκοπού να εφαρμόζουν πολιτική συμμόρφωσης με το ενωσιακό δίκαιο πνευματικής ιδιοκτησίας και να εντοπίζουν και να σέβονται τις σχετικές επιφυλάξεις. Προβλέπει επίσης δημόσια, επαρκώς λεπτομερή σύνοψη του περιεχομένου που χρησιμοποιήθηκε για εκπαίδευση. Οδηγία 2019/790 · AI Act, άρθρο 53.
Ο ευρωπαϊκός Κώδικας Ορθής Πρακτικής για μοντέλα γενικού σκοπού προσφέρει στους παρόχους εθελοντικό τρόπο να αποδεικνύουν συμμόρφωση. Στο πλαίσιο αυτό, η Google συνδέει το robots.txt με τη μηχαναγνώσιμη έκφραση προτιμήσεων των εκδοτών. Το τεχνικό σήμα μπορεί να κάνει μια επιλογή σαφέστερη και ευκολότερη στην εφαρμογή. Η νομική της ισχύς σε κάθε περίπτωση εξαρτάται από τα δικαιώματα, τη χρήση και το εφαρμοστέο πλαίσιο. Ευρωπαϊκή Επιτροπή, Κώδικας Ορθής Πρακτικής GPAI.
Η εξέλιξη δίνει στους ιδιοκτήτες ιστοσελίδων έναν λόγο να καταγράψουν τι θέλουν για κάθε χρήση του περιεχομένου τους. Ένας εκδότης μπορεί να επιδιώκει αναγνωσιμότητα στην Αναζήτηση, να θέλει παραπομπές από εργαλεία AI και να διαπραγματεύεται χωριστά τη διάθεση του αρχείου του για εκπαίδευση. Όσο πιο καθαρά περιγράφονται αυτές οι επιλογές, τόσο ευκολότερα μπορούν οι δημιουργοί και οι πάροχοι να συμφωνούν στους όρους με τους οποίους αξιοποιείται το περιεχόμενο.