Ο Ιάσων επάνδρωσε το πλοίο «Αργώ» με ήρωες και επώνυμους της εποχής ανάμεσα στους οποίους ήταν και ο Ηρακλής, με σκοπό να φέρει από την Κολ-χίδα, στο σφετεριστή του θρόνου του, βασιλιά Πελία, το «χρυσόμαλλο δέρας» και ν’ αναλάβει τη βασιλεία. Στη διαδρομή τους οι Αργοναύτες, μετά την απόκτηση του «χρυσόμαλλου δέρατος», είχαν ένα περιπετειώδες ταξίδι, κατά το οποίο,μέσω του Δούναβη, της Αδριατικής και της Τυρρηνικής θάλασσας έφτασαν στην Κρήτη, απ΄ όπου ξεκίνησαν για την Ιωλκό. Μέσα σε βαθύ διαπέραστο σκοτάδι, οι Αργοναύτες ταξίδευαν απελπισμένοι, όταν ζήτησαν τη βοήθεια του Απόλλωνα που τους φανέρωσε το νησί της Ανάφης στο οποίο προσορμίσθηκαν και προς τιμή του θεού ίδρυσαν το ναό του Απόλλωνα Αιγλήτη, (αίγλη =λάμψη) δίνοντας στο νησί που «ανεφάνη» το όνομα Ανάφη. Ο Απολλώνιος ο Ρόδιος (295-210; π.Χ.) περιγράφει γλαφυρά τη σκηνή του ταξιδιού των Αργοναυτών από την Κρήτη,και την προσόρμισή τους  στην Ανάφη.

Η ύπαρξη της αρχαίας πόλης στο ύψωμα Καστέλλι και το εκτεταμένο τείχος όπως και το νεκροταφείο της, δείχνουν μία ευημερούσα πόλη, η  οποία φαίνεται να είχε ισχυρή παρουσία μέχρι και κατά τη Ρωμαϊκή περίοδο. Την απουσία των γραμματειακών πηγών έρχεται να συμπληρώσει η απουσία ανασκαφών που δυσκολεύει ακόμα περισσότερο την ψηλάφηση των ιστορικών ψηφίδων της αρχαίας πόλης. Τα υπάρχοντα ιστορικά στοιχείαδείχνουν ότι τον 8ο π.Χ αιώνα η Ανάφη, όπως και η Σαντορίνη, αποικήθηκε από Δωριείς αποίκους, οι οποίοι το πιο πιθανόείναι ότι αναγκάστηκαν να ενταχθούν αργότερα στην Αθηναϊκή συμμαχία. Η αρχαία πόλη στο Καστέλλι ευημερούσε και κατά την ελληνιστική εποχή (3ος -2ος αιώνας π.Χ) κόβοντας δικό της νόμισμα, στη μία πλευρά του οποίου απεικονίζεται ο Απόλλωνας Αιγλήτης και στην άλλη ένας κρατήρας με μια μέλισσα που συμβολίζει την ανάπτυξη της μελισσοκομίας στο νησί, δραστηριότητα που διατηρείται μέχρι σήμερα. Το μεγάλο ιερό του νησιού υπήρξε ο ναός του Απόλλωνα Αιγλήτη ή Αναφαίου στην ανατολική πλευρά της Ανάφης. Την ίδια περίοδο, δυτικά της σημερινής Χώρας, στο λόφο Πυργί κατασκευάσθηκε ένα οχυρό συγκρότημα για να ελέγχει τη δυτική πλευρά του νησιού η οποία δεν είναι πλήρως ορατή από το Καστέλλι. Νότια του Καστελλίου, σε μια αλίμενη παραλία, δημιουργήθηκε το επίνειο της Πόλης που φέρει το όνομα Καταλυμάτσα (πιθανόν από την λέξη Καταλύματα),  όπου σώζονται μέχρι σήμερα υπολείμματα κτισμάτων και αρχαία σπαράγματα ). Οι Ρωμαίοι κατέλαβαν την Ανάφη και την ενέταξαν στην  αυτοκρατορία  του πολυάριθμα αγάλματα και οι σαρκοφάγοι που διασώθηκαν  επιβεβαιώνουν την άνθηση της πόλης σε αυτήν την περίοδο

Κατά τη Βυζαντινή περίοδο το νησί συνεχίζει να κατοικείται στο Καστέλλι, χωρίς όμως κάποια ιδιαίτερη παρουσία. Το 1207 μετά την κατάληψη των Κυκλάδων από τους Ενετούς με αρχηγό τον Μάρκο Σανούδο, η Ανάφη παραχωρείται στον συμπολεμιστή του Λεονάρδο Φώσκολο (Foscolo) τον οποίο διαδέχεται ο γιος του Τζιοβάνι που μένει στην εξουσία μέχρι το 1269 οπότε οι Βυζαντινοί ανακαταλαμβάνουν το νησί μέχρι το 1307. Οι Ενετοί όμως επανήλθαν και με τους οίκους Γκοντζαντίνο (Gozzadino), Κρίσπι (Krispi) και Πισάνι (Pisani) εξουσίασαν το νησί για ακόμη 262 χρόνια,μέχρι το 1537 όταν την Ανάφη κατέλαβε ο διαβόητος πειρατής Χαϊρεντίν Μπαρμπαρόσα ο οποίος εξανδραπόδισε όλο τον πληθυσμό του νησιού. Κατά τη διάρκεια της πρώτης ενετικής κυριαρχίας φαίνεται ότι παράλληλα με το Καστέλι δημιουργήθηκε ένας νέος οικισμός στη σημερινή Χώρα, ενώ κάποιες οχυρώσεις ανεγέρθηκαν στο όρος Κάλαμος, στη σημερινή θέση τηςΠάνω Μονής Καλαμιώτισσας. Κατ΄αυτόν τον τρόπο ελεγχόταν όλο το νότιο τμήμα του νησιού, σε αντίθεση με το βόρειο που έμενε απροστάτευτο αφού δεν υπάρχουν οχυρώσεις. Μόνο η ψηλότερη κορυφή του νησιού που φέρει το όνομα Βίγλα, δείχνει την χρήση της ως παρατηρητήριο, ή καμινοβιγλατορία (φρυκτωρία) για την μετάδοση οπτικών μηνυμάτων. Το μόνο μνημείο της εποχής είναι το βυζαντινό εκκλησάκι του Αγ. Αντωνίου στη βόρεια πλευρά του νησιού . Μεταγενέστερη αλλά χωρίς να είναι εξακριβωμένη η ημερομηνία κτίσηςτης (17ος αιώνας), είναι η μονή της Ζωοδόχου Πηγής ή Κάτω Καλαμιώτισσας στο ανατολικό άκρο του νησιού κτισμένη πάνω στα ερείπια τον ναού του Απόλλωνα Αιγλήτη .Μετά την πτώση της Τουρκοκρατίας, το 1830 η Ανάφη όπως και οι υπόλοιπες Κυκλάδες εντάχθηκε στο Ελληνικό κράτος.

Το 1883 επί της βασιλείας του οθωνα με την ανακήρυξη της Αθήνας σε πρωτεύουσα του Ελληνικού κράτους, προέκυψε η ανάγκη για έμπειρους οικοδόμους. Οι Αναφιώτες, όπως και άλλοι Κυκλαδίτες ικανοί μαστόροι, άρχισαν σταδιακά να εγκαταλείπουν τα άγονα νησιά τους και να μεταναστεύουν στην Αθήνα. Οι Αναφιώτες ως χώρο εγκατάστασης επέλεξαν τις ΒΑ βραχώδεις πλαγιές της Ακρόπολης, όπου σταδιακά δημιούργησαν έναν κυκλαδίτικο οικισμό ενσωματώνοντάς τον κυριολεκτικά πάνω στο βράχο. Εκεί όπου οι άλλοι κτίστες δεν μπορούσαν να κτίσουν, οι Αναφιώτες ανήγειραν ένα ολόκληρο οικισμό, αξιοποιώντας το ιδιαίτερο ανάγλυφο του χώρου και εντάσσοντας πάνω στις απότομες κλίσεις του βράχου τις κατοικίες τους. Εκατό χρόνια αργότερα, το 1970, άρχισε η κατεδάφιση των αγκιστρωμένων πάνω στο βράχο Αναφιώτικων, προκειμένου να δημιουργηθεί μια περιφερειακή ζώνη στην Ακρόπολη και να αναδειχθεί ο «Περίπατος» των αρχαίων Αθηναίων.

Την εποχή του μεσοπολέμου (1914-1940) για τους ποινικούς κρατουμένους, πέρα από την ποινή της φυλάκισης, εφαρμοζόταν και η ποινή της εξορίας, πρακτική που επεκτάθηκε στη συνέχεια και στους πολιτικούς κρατούμενους. Στόχος της εξορίας ήταν η απομόνωση των ανεπιθύμητων ατόμων από το ευρύτερο κοινωνικό σύνολο και ο περιορισμός τους σε απομονωμένα νησιά, συνήθως με λίγους κατοίκους, όπου δεν θα μπορούσαν να εξασκούν τις θεωρούμενες παράνομες δραστηριότητες τους ή να διασπείρουν τις «ανατρεπτικές» ιδέες τους. Οι πρώτες πολιτικές εκτοπίσεις στη νεότερη Ελλάδα άρχισαν το 1914 και συνεχίστηκαν το 1929 με νόμο που έγινε γνωστός ως «Ιδιώνυμος», του οποίου η πρωτοτυπία υπήρξε ότι ποινικοποιούσε τις απόψεις και σκέψεις των πολιτών ενώ οι αποφάσεις των εκτοπισμών λαμβάνονταν αυθαίρετα από την αστυνομία χωρίς απόφαση δικαστηρίου. Ο νόμος αφορούσε κυρίως τους κομμουνιστές αλλά δεν υπήρχαν σαφείς διακρίσεις και έτσι λειτούργησε γενικότερα εναντίον των αντιπάλων του καθεστώτος.