Το μοναστήρι, το οποίο κηρύχθηκε ιστορικό διατηρητέο μνημείο το 1965, παραμένει έως σήμερα ένας τόπος «ιεράς ερημιάς», προσβάσιμος μόνο σε τολμηρούς προσκυνητές που ακολουθούν το απόκρημνο και επικίνδυνο μονοπάτι, το οποίο πρόσφατα μετατοπίστηκε λόγω των κατολισθήσεων της κακοκαιρίας Daniel.

Μέσα από τη μελέτη της ιστορικού-αρχαιολόγου Συραϊνώς Εμμ. Κορωνιού-Διονυσίου, αναδεικνύεται η μοναδικότητα αυτού του «βραχώδη θρόνου» της Θεοτόκου. Όπως σημειώνει η ιστορικός, το σκηνικό είναι απόλυτα Παπαδιαμαντικό: «Ήλιος, φως, αιγιαλός, εχθρικοί βράχοι και βουνό». Το κτιριακό συγκρότημα, αν και μικρών διαστάσεων, ακολουθεί τους αυστηρούς κανόνες της εκκλησιαστικής αρχιτεκτονικής της Τουρκοκρατίας, με λιτές μορφές που επιβλήθηκαν από το δύσβατο φυσικό τοπίο. Το καθολικό της μονής αποτελεί το μοναδικό δείγμα στη Σκιάθο του αρχιτεκτονικού τύπου του σύνθετου τετρακιόνιου εγγεγραμμένου σταυροειδούς, χαρακτηριστικό της σχολής της Κωνσταντινούπολης.

Η ιστορία της Μονής χάνεται στα βάθη των αιώνων, με την επικρατέστερη εκδοχή να τοποθετεί την ίδρυσή της στην υστεροβυζαντινή περίοδο (15ος-16ος αι.). Η παλαιότερη γραπτή μαρτυρία ανάγεται στο 1728, ενώ το 1795 το ήδη «έρημο προ χρόνων πολλών» μοναστήρι προσαρτήθηκε στη νεοσύστατη τότε Μονή του Ευαγγελισμού. Παρά την εγκατάλειψη δύο αιώνων, ο επισκέπτης μπορεί ακόμη να διακρίνει ίχνη της παλιάς δόξας, όπως μαρμάρινα κιονόκρανα σε δεύτερη χρήση από παλαιοχριστιανικό ναό και υπολείμματα τοιχογραφίας στην κόγχη της προσκομιδής με το θέμα της Άκρας Ταπείνωσης.

«Πρόκειται για έναν τόπο παρηγοριάς και προσευχής, παρατημένο στη μοίρα του», αναφέρει η κ. Κορωνιού-Διονυσίου, περιγράφοντας την αίσθηση μελαγχολίας που προκαλεί η ερείπωση. Ωστόσο, η περιοχή γύρω από το Κάστρο είναι στοιχειωμένη από θρύλους για νεράιδες που χόρευαν τα μεσημέρια και δαιμόνια που κυλούσαν πέτρες τη νύχτα. Εκεί ακούγεται ακόμη ο θρήνος της πετρωμένης Φλανδρώς, της αρχοντοπούλας που έγινε βράχος περιμένοντας τον άνδρα της, ενώ κοντά στη «βρύση του πουλιού» η παράδοση θέλει τη Φραγκογιαννού του Παπαδιαμάντη να ξαποσταίνει λίγο πριν το τέλος της.

Παρά τη φθορά, η Παναγία στο Καλάμι παραμένει ένα «ζωντανό ερείπιο». Η ιστορικός-αρχαιολόγος καταλήγει στη μελέτη της με μια διαπίστωση που αγγίζει την ουσία του μνημείου: «Έχει και το ερείπιο τη δική του ζωντάνια και γοητεία. Είναι ένας τόπος για το πνεύμα, ένα τοπίο για ενόραση και στοχασμό, όπου η απουσία ανθρώπινης φροντίδας το κάνει να φαντάζει ξεχασμένο, αλλά η αύρα μυστηρίου που εκπέμπει αιχμαλωτίζει τον επισκέπτη». Παρά το ΦΕΚ του 1965 που το προστατεύει, το μοναστήρι συνεχίζει να ρημάζει, περιμένοντας τη στιγμή που η ιστορική του αξία θα αναγνωριστεί έμπρακτα μέσα από τη σωτηρία των εναπομεινάντων τμημάτων του.