मूल संरचना बहुत विशिष्ट रही होगी: वेस्पासियन और डोमिनिटियन के शासनकाल में, कालीज़ीयम के अंदर, नौमाचिया, जो कि नौसैनिक युद्धों का है। इसका मतलब यह हो सकता है कि मूल रूप से कोलोसियम का फर्श ऐसा होना चाहिए जिससे पानी का एक बड़ा प्रवाह हो सके, शायद नीरो के घर के लिए बनाए गए मूल तालाब को बनाए रखना।

इन वर्षों में, कोलोसियम में आग, भूकंप और मनुष्य ने भारी प्रहार किए:
217 ईस्वी में एक आग ने ऊपरी संरचनाओं को नष्ट कर दिया; इमारत को एलागाबालस और अलेक्जेंडर सेवेरस द्वारा पुनर्निर्मित किया गया था, और 222 में काम पूरा किए बिना इसे फिर से खोल दिया गया था। 250/252 और 320 में अन्य आग लगीं जिससे कोलोसियम को नुकसान हुआ और 476 - 483 ईस्वी में कॉन्स्टेंटाइन और किंग ओडोएसर (ओडोएसर, रोम के जंगली राजाओं में से पहला) के तहत अन्य पुनर्निर्माण हुए
पतन के बाद रोमन साम्राज्य में 484 या 508 के आसपास आए एक और भूकंप के बाद पुनर्वास के अन्य कार्य थे। एक निश्चित बिंदु पर महान फ्लेवियन एम्फीथिएटर को छोड़ दिया गया था और छठी शताब्दी में एक दफन क्षेत्र के रूप में इस्तेमाल किया गया था; बाद में, एक आवास के रूप में इस्तेमाल किया।
प्रारंभिक मध्य युग में कोलोसियम 1312 तक फ्रैंगिपेन और एनीबाल्डी का एक किला बन गया, जब सम्राट हेनरी VII ने हस्तक्षेप किया और इसे सीनेट और फिर रोमन लोगों को वापस सौंप दिया।
1231 और 1349 के भूकंप ने कोलोसियम को अन्य नुकसान पहुंचाया जो अब तक खंडहर में फिर से छोड़ दिया गया था। दुखद भाग्य ने इसे संगमरमर की खदान बना दिया, जिसमें सबसे प्रसिद्ध, पलाज़ो वेनेज़िया और चांसलर सहित नई इमारतों का निर्माण किया गया। ट्रैवर्टीन ब्लॉक हटा दिए गए थे या प्राकृतिक आपदाओं के कारण गिरे हुए लोगों का उपयोग 1703 में बारबेरिनी महल और रिपेटा के बंदरगाह के निर्माण के लिए किया गया था। एक प्रसिद्ध कहावत जो कोलोसियम के "चोरी" के विवरण का हिस्सा थी, कहती है: "क्वॉड नॉन फ़ेसेरुंट बारबरी, फ़ेसरुंट बारबेरिनी" (बर्बरियों ने क्या नहीं किया, बारबेरिनी ने किया)।
1675 की जयंती के दौरान इसने कई ईसाई शहीदों की याद में एक पवित्र स्थान का चरित्र ग्रहण किया और 1744 में पोप बेनेडिक्ट XIV ने इसे मसीह के जुनून के लिए पवित्रा किया और वाया क्रूसिस के 15 चरणों का निर्माण किया। वहाँ, अखाड़े में बलिदान किए गए ईसाई शहीदों की याद में।
संरचनात्मक अस्थिरता के बाद, पहला पुनर्स्थापन हुआ: अग्रभाग के शेष खड़े सिरों का समर्थन करने के लिए स्पर्स 1807 में राफेल स्टर्न द्वारा और 1827 में लुइगी मारिया वेलाडियर द्वारा बनाए गए थे, जिन्होंने नए काम में ढह गई संरचनाओं का हिस्सा बनाया था। . इंटीरियर में अन्य पुनर्स्थापन 1831 और 1846 के बीच हुए। उसी समय स्मारक को 1811 और 1812 में कार्लो फी द्वारा निर्देशित खुदाई और पिएत्रो रोजा (1874-1875) के साथ भूमिगत से मुक्त किया जाने लगा।
1938 और 1939 में अखाड़े के भूमिगत ढांचे को पूरी तरह से खोदा गया था, आंशिक रूप से पुनर्निर्माण के द्वारा बदल दिया गया था।