1205 – Οι Ενετοί κατέλαβαν την Κρήτη και για την ασφάλεια του λιμανιού του Χάνδακα, όπως λεγόταν, τότε, το σημερινό Ηράκλειο, αποφάσισαν να κάνουν οχυρωματικά έργα.
1303 – Ένας μεγάλος σεισμός προκάλεσε μεγάλο τσουνάμι και κατέστρεψε τον φάρο που είχαν κατασκευάσει οι Ενετοί στη βορειοδυτική πλευρά του λιμανιού του Ηρακλείου
1508 και 1512 – Δύο νέοι σεισμοί γκρέμισαν το δεύτερο φάρο, ο οποίος είχε χτιστεί στη θέση του πρώτου. Τότε αποφασίζεται η κατασκευή ενός οχυρού.
1530-1540 – Τόσο διήρκεσαν οι εργασίες ανοικοδόμησης του φρουρίου, το οποίο ονομάστηκε Rocca Al Mare. Χτίστηκε πάνω σε φυσικό βραχώδες έξαρμα και για να ενισχύσουν την υποθαλάσσια βάση, γέμιζαν παλιές γαλέρες με βράχια, χαλίκια και ογκόλιθους και τις βύθιζαν. Το φρούριο καταλαμβάνει μια έκταση 3600 τ.μ., είναι διώροφο και το πάχος των εξωτερικών τοίχων φτάνει τα 8,7 μ. Μέσα στο φρούριο, υπήρχαν 26 διαφορετικά διαμερίσματα που χρησίμευαν ως χώροι αποθήκευσης τροφίμων, πολεμοφοδίων, δεξαμενές όμβριων υδάτων και φυλακές. Στο ισόγειο, υπήρχαν 18 κανόνια και στον πρώτο όροφο 25. Υπήρχαν τρεις πύλες εισόδου, δυτικά, βορειοδυτικά και νοτιοδυτικά. Εξωτερικά, δεσπόζουν μαρμάρινα ανάγλυφα που απεικονίζουν τον φτερωτό λέοντα του Αγίου Μάρκου, σύμβολο της Βενετίας.
1552- Ο μόλος της βόρειας πλευράς κατέρρευσε λόγω της φθοράς από τα κύματα.
1556- Ο μόλος ανακατασκευάστηκε.
1558- Ένα σημαντικό τμήμα του μόλου καταστράφηκε πάλι.
1566- Προτάθηκε κεκλιμένος τοίχος για καλύτερη προστασία του φρουρίου από τα κύματα.
1570- Νέα τρύπα δημιουργήθηκε στο μόλο αλλά οι επισκευές συνεχίστηκαν.
1648- Οι Οθωμανοί κατέλαβαν την Κρήτη και ονόμασαν το φρούριο Su Kulesi.
1649- Οι Οθωμανοί συνέχισαν τις επισκευές και χρησιμοποιήσαν το φρούριο αποκλειστικά ως φυλακή για τους Κρητικούς επαναστάτες.
1700- Ένας άλλος μικρότερος πύργος , γνωστός και ως Μικρός Κούλες, κατασκευάστηκε στον ανατολικό λιμενοβραχίονα, στη θέση, όπου σήμερα βρίσκεται το καφέ Μαρίνα. Ο Μικρός Κούλες γκρεμίστηκε το 1936 για τις ανάγκες της κατασκευής του νέου λιμανιού στο Ηράκλειο.
1719- Τμήμα της βορειοδυτικής πλευράς του Κούλε κατέρρευσε αλλά επισκευάστηκε ξανά.
1830- 1840 Οι Αιγύπτιοι κυριάρχησαν στην Κρήτη και κατασκεύασαν στην βορειανατολική πλευρά του φρουρίου ένα φάρο, ο οποίος καταστράφηκε τον Β Παγκόσμιο Πόλεμο.
1959- Άρχισαν επισκευές στο φρούριο.
1972-1975- Το φρούριο του Κούλε μετατράπηκε σε επισκέψιμο μνημείο. Σήμερα στο Μουσείο του εκτίθενται ευρήματα από τα ναυάγια της υποναυαρχίδας La Theresse που βυθίστηκε στις 24/07/1669 κατά τη διάρκεια του Κρητικού Πολέμου και από τα μινωικά ναυάγια που βρέθηκαν στη Νήσο Ντία. Επίσης, ο χώρος χρησιμοποιείται για καλλιτεχνικές εκθέσεις, θεατρικές παραστάσεις και διάφορα πολιτιστικά δρώμενα.
