Ευρετηρίαση ιστοσελίδων: από την ανίχνευση στην εμφάνιση αποτελεσμάτων
Η ευρετηρίαση είναι η διαδικασία με την οποία μια μηχανή αναζήτησης επεξεργάζεται μια σελίδα και ενδέχεται να την καταχωρίσει στο ευρετήριό της. Δεν είναι το ίδιο με την ανίχνευση ούτε εγγυάται υψηλή θέση ή εμφάνιση σε κάθε αναζήτηση. Για να διαγνώσουμε ένα πρόβλημα, ξεχωρίζουμε την πρόσβαση του ρομπότ, την ανάγνωση περιεχομένου, την επιλογή κανονικής διεύθυνσης και την τελική καταχώριση. Κάθε στάδιο χρειάζεται διαφορετικό έλεγχο και διαφορετική τεχνική απάντηση.
Η διαδρομή μιας διεύθυνσης στο ευρετήριο
Η μηχανή μπορεί να ανακαλύψει μια διεύθυνση από συνδέσμους ή από χάρτη ιστοτόπου. Έπειτα προσπαθεί να τη ζητήσει από τον εξυπηρετητή, επεξεργάζεται όσα λαμβάνει και αποφασίζει αν αξίζει να διατηρήσει την πληροφορία στο ευρετήριο. Το ότι εντοπίστηκε ένα URL δεν σημαίνει ότι έγινε ήδη ανίχνευση. Ακόμη και όταν η ανίχνευση ολοκληρωθεί, η καταχώριση παραμένει χωριστή απόφαση.
Πρόσβαση του ρομπότ και απόκριση του διακομιστή
Ένα ουσιαστικό τεχνικό πρώτο βήμα είναι να επιστρέφει η ζητούμενη σελίδα λειτουργικό περιεχόμενο και κατάλληλη κατάσταση HTTP (πρωτόκολλο μεταφοράς υπερκειμένου, Hypertext Transfer Protocol). Επαναλαμβανόμενα σφάλματα διαθεσιμότητας δυσκολεύουν την πρόσβαση. Αν η σελίδα απαιτεί σύνδεση χρήστη ή αποδίδει κενό έγγραφο, η μηχανή δεν βλέπει όσα βλέπει ένας διαχειριστής με πρόσβαση. Ελέγχουμε πραγματικές αποκρίσεις και όχι μόνο εικόνες της οθόνης.
Τι κάνει και τι δεν κάνει το robots.txt
Το αρχείο robots.txt δηλώνει οδηγίες πρόσβασης για προγράμματα ανίχνευσης. Δεν είναι μηχανισμός ασφαλείας ούτε αξιόπιστη λύση απόκρυψης ευαίσθητων δεδομένων. Μια απαγόρευση ανίχνευσης μπορεί να εμποδίσει την ανάγνωση της οδηγίας noindex μέσα στη σελίδα. Όταν ο στόχος είναι η απομάκρυνση από τα αποτελέσματα, πρέπει να εξετάζεται η κατάλληλη μέθοδος αντί να συγχέεται η πρόσβαση με την παρουσία στο ευρετήριο.
Η σημασία της κανονικής διεύθυνσης
Παραλλαγές διευθύνσεων με παραμέτρους, φίλτρα ή διαφορετική γραφή μπορεί να περιέχουν ουσιαστικά ίδιο υλικό. Το canonical δηλώνει προτίμηση για τη βασική έκδοση, αλλά δεν είναι εντολή απόλυτης ισχύος. Η μηχανή μπορεί να επιλέξει διαφορετική κανονική διεύθυνση βάσει περισσότερων σημάτων. Φροντίζουμε οι εσωτερικοί σύνδεσμοι, οι ανακατευθύνσεις και οι χάρτες ιστοτόπου να παραπέμπουν με συνέπεια στην έκδοση που θέλουμε να προβάλλεται.
Χάρτης ιστοτόπου χωρίς υπερβολικές προσδοκίες
Ένας χάρτης XML (επεκτάσιμη γλώσσα σήμανσης, Extensible Markup Language) διευκολύνει την ανακάλυψη σημαντικών κανονικών σελίδων. Δεν αποτελεί συμβόλαιο ότι κάθε διεύθυνση θα ανιχνευτεί ή θα ευρετηριαστεί. Συμπεριλαμβάνουμε σελίδες που επιδιώκουμε πραγματικά να εμφανίζονται και χρησιμοποιούμε το lastmod μόνο όταν ανταποκρίνεται σε ουσιαστική αλλαγή περιεχομένου. Οι συνεχείς αποστολές του ίδιου αμετάβλητου αρχείου δεν αντικαθιστούν την επιδιόρθωση προβλημάτων ποιότητας ή πρόσβασης.
Πώς ελέγχουμε την κατάσταση μιας συγκεκριμένης σελίδας
Για την Google, ο έλεγχος διεύθυνσης στο Search Console βοηθά να δούμε πληροφορίες για την ανακάλυψη, την ανίχνευση, την ευρετηρίαση και την κανονική έκδοση. Η ζωντανή δοκιμή ελέγχει την τρέχουσα πρόσβαση, ενώ η καταχωρισμένη κατάσταση μπορεί να αναφέρεται σε παλαιότερη επεξεργασία. Δεν ταυτίζουμε τις δύο ενδείξεις. Καταγράφουμε την ακριβή διεύθυνση, την ημερομηνία ελέγχου και το εύρημα πριν προτείνουμε αλλαγή.
Αναφορές σελίδων: σωστή ανάγνωση αποκλεισμών
Η αναφορά ευρετηρίασης παρουσιάζει κατηγορίες καταχωρισμένων και μη καταχωρισμένων σελίδων. Δεν απαιτείται να ευρετηριαστούν όλες οι παραλλαγές ενός ιστοτόπου. Μια σκόπιμα αποκλεισμένη σελίδα εισόδου ή ένα διπλό φίλτρο προϊόντων μπορεί δικαιολογημένα να απουσιάζει. Χρειάζεται διάκριση ανάμεσα στα αναμενόμενα και στα ανεπιθύμητα ευρήματα. Προτεραιότητα δίνουμε στις βασικές σελίδες που δεν εμφανίζονται παρά το ότι πρέπει να εξυπηρετούν αναζητήσεις.
Όταν το περιεχόμενο δημιουργείται με JavaScript
Οι διαδραστικές εφαρμογές συχνά φορτώνουν κείμενο μετά την αρχική απόκριση. Για την ανίχνευση χρειάζεται να ελέγξουμε τι περιέχεται στο αρχικό HTML (γλώσσα σήμανσης υπερκειμένου, HyperText Markup Language) και τι είναι ορατό μετά την απόδοση. Οι σημαντικοί τίτλοι, οι σύνδεσμοι και οι κύριες πληροφορίες πρέπει να είναι προσβάσιμα χωρίς εξάρτηση από απρόβλεπτες ενέργειες χρήστη. Ο έλεγχος αφορά την πραγματική απόδοση, όχι τη θεωρία ότι κάθε πρόγραμμα εκτελεί κάθε σενάριο με τον ίδιο τρόπο.
Η εσωτερική δομή ως σύστημα ανακάλυψης
Σελίδες χωρίς εισερχόμενους συνδέσμους μέσα στον ιστότοπο εντοπίζονται δυσκολότερα από ανθρώπους και προγράμματα. Κάθε σημαντική σελίδα πρέπει να εντάσσεται σε κατανοητή ιεραρχία και να συνδέεται από σχετικές διαδρομές. Το κείμενο του συνδέσμου εξηγεί τι θα βρει ο αναγνώστης, όχι απλώς «πατήστε εδώ». Η πλοήγηση δεν σχεδιάζεται αποκλειστικά για ρομπότ: χρειάζεται να βοηθά στην ολοκλήρωση μιας πραγματικής εργασίας.
Τι αλλάζει όταν μεταφέρεται ή καταργείται μια σελίδα
Σε αλλαγή διεύθυνσης επιλέγουμε κατάλληλη ανακατεύθυνση προς το πραγματικά αντίστοιχο περιεχόμενο και ενημερώνουμε τους εσωτερικούς συνδέσμους. Όταν ένα έγγραφο παύει οριστικά να υπάρχει, η σωστή απόκριση εξαρτάται από το αν υπάρχει ουσιαστικό υποκατάστατο. Η τυφλή ανακατεύθυνση κάθε παλιάς διεύθυνσης στην αρχική σελίδα συχνά μπερδεύει τον επισκέπτη. Πριν αλλάξουμε μαζικά τη δομή, αποτυπώνουμε τις κρίσιμες διαδρομές και δοκιμάζουμε τα αποτελέσματα.
Γιατί η ταχύτητα ευρετηρίασης διαφέρει
Δεν υπάρχει εγγυημένο σταθερό διάστημα για να εμφανιστεί μια νέα σελίδα. Η διαθεσιμότητα του διακομιστή, η ευκολία ανακάλυψης, η μοναδικότητα του θέματος και η συνολική αξιολόγηση του περιεχομένου επηρεάζουν τη διαδικασία. Μια αίτηση επανελέγχου δεν μετατρέπει μια αδύναμη σελίδα σε χρήσιμη. Συνεπώς, αποφεύγουμε τις υποσχέσεις «άμεσης καταχώρισης» και επικεντρωνόμαστε σε προβλήματα που μπορούμε να μετρήσουμε και να διορθώσουμε.
Διαγνωστική σειρά για υπεύθυνους ιστοτόπων
Επιβεβαιώνουμε πρώτα την επιθυμητή διεύθυνση και ελέγχουμε την πραγματική απόκριση. Στη συνέχεια εξετάζουμε robots, οδηγίες noindex, ανακατευθύνσεις, canonical, εσωτερικούς συνδέσμους και τον χάρτη ιστοτόπου. Μετά ελέγχουμε αν το κύριο κείμενο είναι ορατό και αν προσφέρει ξεχωριστή αξία. Τέλος, συγκρίνουμε τα τεχνικά ευρήματα με τα στοιχεία Search Console. Αυτή η σειρά αποτρέπει άσκοπες επεμβάσεις σε σελίδες που είναι σκόπιμα εκτός ευρετηρίου.
Ποιες σελίδες δεν επιδιώκουμε να καταχωριστούν
Μια υγιής τεχνική αρχιτεκτονική δεν προσπαθεί να βάλει κάθε διαθέσιμη διεύθυνση στο ευρετήριο. Προσωρινά αποτελέσματα εσωτερικής αναζήτησης, επαναλαμβανόμενα φίλτρα, δοκιμαστικές σελίδες ή προσωπικές περιοχές μπορεί να μην έχουν λόγο δημόσιας παρουσίας. Για κάθε κατηγορία ορίζουμε ξεκάθαρη πολιτική πρόσβασης, δημοσίευσης και επιλογής κανονικής διεύθυνσης. Δεν εφαρμόζουμε μηχανικά την ίδια λύση σε περιεχόμενο που χρειάζεται απόκρυψη ασφαλείας και σε περιεχόμενο που απλώς δεν επιθυμούμε στα αποτελέσματα. Η πρώτη περίπτωση απαιτεί πραγματικό έλεγχο πρόσβασης, όχι μόνο οδηγίες προς προγράμματα ανίχνευσης.
Συχνές ερωτήσεις
Είναι το ίδιο η ανίχνευση και η ευρετηρίαση;
Όχι. Η ανίχνευση αφορά τη λήψη και επεξεργασία μιας διεύθυνσης. Η ευρετηρίαση αφορά την πιθανή αποθήκευσή της σε ευρετήριο. Μπορεί να έχει προηγηθεί επιτυχής ανίχνευση χωρίς καταχώριση.
Εγγυάται ο χάρτης ιστοτόπου εμφάνιση στη Google;
Όχι. Βοηθά να δηλώσουμε σημαντικές διευθύνσεις, αλλά η μηχανή αποφασίζει αν θα τις ανιχνεύσει και ευρετηριάσει. Η ποιότητα και η τεχνική διαθεσιμότητα παραμένουν κρίσιμες.
Πρέπει να εμφανίζονται όλα τα φίλτρα ενός ηλεκτρονικού καταστήματος;
Όχι απαραίτητα. Πολλές παραλλαγές μπορεί να οδηγούν σε σχεδόν όμοιες σελίδες. Ο σχεδιασμός βασίζεται στην πραγματική πρόθεση αναζήτησης και στη διαχείριση διπλού περιεχομένου.
Γιατί εμφανίζεται άλλη κανονική διεύθυνση από την αναμενόμενη;
Το canonical είναι ισχυρή υπόδειξη, όχι απόλυτη εντολή. Ασυνεπείς σύνδεσμοι, ανακατευθύνσεις ή παρόμοιο περιεχόμενο μπορούν να επηρεάζουν την επιλογή. Εξετάζουμε το σύνολο των σημάτων.
Πότε επανελέγχουμε μετά από διόρθωση;
Αφού επαληθεύσουμε την αλλαγή ζωντανά και υποβάλουμε ό,τι χρειάζεται, παρακολουθούμε τις ενημερώσεις των εργαλείων. Αποφεύγουμε να ερμηνεύουμε την καθυστέρηση λίγων ημερών ως απόδειξη νέου σφάλματος.