Το Κολοσσαίο, που αποκαλούνταν από τους αρχαίους Ρωμαίους «Anphitheatrum Flavlum», χτίστηκε από τον αυτοκράτορα Βεσπασιανό, το 70 μ.Χ. περίπου, και εγκαινιάστηκε από τον γιο του Τίτο το 80 μ.Χ. Η κατασκευή έγινε στην περιοχή που καταλάμβανε το τεράστιο παλάτι του Νέρωνα, το Domus Aurea, που χτίστηκε μετά τη μεγάλη πυρκαγιά στη Ρώμη το 64, που πρέπει να ήταν μια κοιλάδα περίκλειστη. ανάμεσα στους λόφους Velia, Palatino, Celio, Oppio και Fagutale και το διέσχιζε ένα ρέμα που έτρεχε προς τον Τίβερη κατά μήκος ενός μονοπατιού που ακολουθεί περίπου τη σημερινή Via di San Gregorio.
Η παρουσία της λίμνης αξιοποιήθηκε άφθονα για εξοικονόμηση θεμελίων, φτιαγμένων από πεσσούς τραβερτίνης που στηρίζονται σε συνεχόμενο τσιμεντένιο δακτύλιο, διάσπαρτες μόνο με κάποιους υπονόμους για τη ροή των υπόγειων υδάτων που διαφορετικά θα είχαν πλημμυρίσει όλη την περιοχή.
Εκεί κοντά υπήρχε ένα κολοσσιαίο άγαλμα του Νέρωνα, από το οποίο ο μύθος λέει ότι προέρχεται το όνομα Κολοσσαίο. Μετά τη δολοφονία αυτού του αυτοκράτορα, το άγαλμα αναδιαμορφώθηκε για να απεικονίσει τον Σολ τον θεό του ήλιου, προσθέτοντας το κατάλληλο ηλιακό στέμμα. Στη συνέχεια, ο Κολοσσός μεταφέρθηκε από την αρχική του θέση για να ανοίξει ο ναός της Αφροδίτης και της Ρώμης υπό τον Αδριανό. Η θέση της βάσης του κολοσσιαίου αγάλματος, μετά τη μετεγκατάσταση, σηματοδοτείται σήμερα από μια μοντέρνα βάση τούφας.
Η αρχική δομή πρέπει να ήταν πολύ ιδιαίτερη: επί Βεσπασιανού και Δομιτιανού, μέσα στο Κολοσσαίο, επίσης η ναυμαχία, δηλαδή των ναυμαχιών. Αυτό μπορεί να σημαίνει ότι αρχικά το δάπεδο του Κολοσσαίου έπρεπε να είναι τέτοιο που να επιτρέπει μεγάλη ροή νερού, ίσως διατηρώντας την αρχική λίμνη που δημιουργήθηκε για το σπίτι του Νέρωνα.
Στο υπόγειο του Κολοσσαίου, που φωτιζόταν από πυρσούς και λάμπες πετρελαίου, η πρόσβαση γινόταν μέσω τεσσάρων διαδρόμων τοποθετημένων κατά μήκος των αξόνων του κτιρίου, ώστε να ήταν δυνατή η πρόσβαση σε αυτά τα δωμάτια ακόμη και με βαγόνια. Η κρυπτο-στοά στα βόρεια συνέδεε το υπόγειο του Κολοσσαίου με το Ludus Magnus (τους κοντινούς στρατώνες μονομάχων), όπου υπήρχε μια σειρά από κτίρια κατοικιών που άνοιγαν σε μια αυλή με ένα ελλειπτικό υπαίθριο γυμναστήριο, ένα μικροσκοπικό αμφιθέατρο. Από το υπόγειο, κοντά στη σκηνή όπου ο αυτοκράτορας παρακολουθούσε τις παραστάσεις, υψώνονται κάποιες σκάλες, οι οποίες επέτρεπαν την άμεση σύνδεση με την αυτοκρατορική σκηνή. Από αυτό το μέρος ένας άλλος υπόγειος διάδρομος, φωτισμένος από φεγγίτες, ο οποίος αρχικά είχε μαρμάρινη επένδυση και το θησαυροφυλάκιο διακοσμημένο με βαμμένο στόκο, χρησιμοποιήθηκε από τους αυτοκράτορες για πρόσβαση στο Κολοσσαίο χωρίς να τον βλέπουν.
Μέσα το κοίλο με τα σκαλοπάτια για τα καθίσματα των θεατών ήταν χωρισμένο σε πέντε οριζόντιους τομείς (maeniana), που προορίζονται για διαφορετικές κατηγορίες κοινού: ο κάτω τομέας, που προορίζεται για τους γερουσιαστές και τις οικογένειές τους, είχε φαρδιά και χαμηλά σκαλοπάτια που φιλοξενούσαν ξύλινα καθίσματα ( subsellia); ακολουθούμενο από το maenianum primum, με οκτώ μαρμάρινα σκαλοπάτια, το maenianum secundum, χωρισμένο σε imum (κάτω) και summum (πάνω), πάλι με μαρμάρινα σκαλοπάτια, και τέλος το maenianum summum, με περίπου έντεκα ξύλινα σκαλοπάτια μέσα στη στοά στεφάνωνε το κοίλο ( porticus in summa cavea): τα αρχιτεκτονικά κατάλοιπα του τελευταίου ανήκουν στις ανακατασκευές της Σεβεριανής ή Γόρδιας ΙΙ περιόδου.
Οι διάφοροι τομείς χωρίζονταν με ψηλές εξέδρες (precinctio), στις οποίες άνοιγαν οι θύρες πρόσβασης (vomitoria), προστατευμένες από μαρμάρινα φράγματα (που χρονολογούνται στις αναστηλώσεις του 2ου αιώνα μ.Χ.. Τα ονόματα των συγκλητών στους οποίους ανήκαν τα κάτω καθίσματα Οι θεατές έφτασαν στις θέσεις τους μπαίνοντας από τις καμάρες που τους είχαν δεσμευτεί. Καθεμία από τις 74 καμάρες για το κοινό διακρίνονταν από έναν αριθμό, χαραγμένο στον ακρογωνιαίο λίθο , για να επιτρέψει στους θεατές να φτάσουν γρήγορα καθίσματα.
Με το πέρασμα των χρόνων, πυρκαγιές, σεισμοί και ο άνθρωπος προκάλεσε αρκετά βαριά χτυπήματα στο Κολοσσαίο:
Το 217 μ.Χ. μια πυρκαγιά κατέστρεψε τα ανώτερα κτίρια. το κτίριο ανακαινίστηκε από τον Elagabalus και τον Alexander Severus και άνοιξε ξανά το 222 χωρίς να έχουν ολοκληρωθεί οι εργασίες. Υπήρξαν και άλλες πυρκαγιές το 250/252 και το 320 που προκάλεσαν ζημιές στο Κολοσσαίο και υπήρξαν άλλες ανακατασκευές υπό τον Κωνσταντίνο και τον βασιλιά Οδόακρο (Οδόακρος, πρώτος από τους βαρβάρους βασιλιάδες της Ρώμης) το 476 - 483 μ.Χ.
Μετά την πτώση της Ρωμαϊκής Αυτοκρατορίας υπήρχαν και άλλα έργα αποκατάστασης μετά από έναν άλλο σεισμό που συνέβη γύρω στο 484 ή 508. Κάποια στιγμή το μεγάλο Αμφιθέατρο των Φλαβίων εγκαταλείφθηκε και τον έκτο αιώνα χρησιμοποιήθηκε ως χώρος ταφής. αργότερα χρησιμοποιήθηκε ως κατοικία.
Τον πρώιμο Μεσαίωνα το Κολοσσαίο έγινε φρούριο των Φραγκιπάνε και Ανιμπάλντι μέχρι το 1312, όταν ο αυτοκράτορας Ερρίκος Ζ' παρενέβη και το παρέδωσε πίσω στη Γερουσία και στη συνέχεια στον ρωμαϊκό λαό.
Οι σεισμοί του 1231 και του 1349 προκάλεσαν άλλες ζημιές στο Κολοσσαίο το οποίο μέχρι τώρα ήταν ερειπωμένο και πάλι εγκαταλειμμένο. Η θλιβερή μοίρα το έκανε να γίνει ένα λατομείο μαρμάρου που χρησιμοποιείται για την κατασκευή νέων κτιρίων, συμπεριλαμβανομένων των πιο διάσημων, του Palazzo Venezia και της Καγκελαρίας. Τα μπλοκ τραβερτίνη αφαιρέθηκαν ή αυτά που έπεσαν λόγω φυσικών καταστροφών χρησιμοποιήθηκαν για να χτιστεί το παλάτι Barberini το 1703 και για το λιμάνι της Ripetta. Ένα διάσημο ρητό που ήταν μέρος μιας περιγραφής της «ληστείας» του Κολοσσαίου λέει: «Quod non fecerunt Barbari, fecerunt Barberini» (Ό,τι δεν έκαναν οι βάρβαροι, το έκαναν οι Barberini).
Κατά τη διάρκεια του ιωβηλαίου του 1675 έλαβε τον χαρακτήρα ενός ιερού τόπου στη μνήμη των πολλών χριστιανών μαρτύρων που καταδικάστηκαν σε βασανιστήρια εδώ και το 1744 ο Πάπας Βενέδικτος XIV το αφιέρωσε στο πάθος του Χριστού και έχτισε τα 15 στάδια της Via Crucis εκεί, στη μνήμη των χριστιανών μαρτύρων που θυσιάστηκαν στην αρένα.
Μετά τη δομική αστάθεια, πραγματοποιήθηκαν οι πρώτες αποκαταστάσεις: τα σπιρούνια για τη στήριξη των υπόλοιπων άκρων της πρόσοψης κατασκευάστηκαν το 1807 από τον Raffaele Stern και το 1827 από τον Luigi Maria Valadier, ο οποίος ανασύνθεση μέρος των κατασκευών που κατέρρευσαν στο νέο έργο . Άλλες ανακαινίσεις στο εσωτερικό έγιναν μεταξύ 1831 και 1846. Την ίδια περίοδο το μνημείο άρχισε να απελευθερώνεται από το υπόγειο με τις ανασκαφές που διεύθυνε ο Carlo Fea το 1811 και το 1812 και με εκείνες του Pietro Rosa (1874-1875).
Το 1938 και το 1939 οι υπόγειες κατασκευές της αρένας ανασκάφηκαν πλήρως, εν μέρει αλλοιωμένες από ανακατασκευές.
