Şehrin hakim tepesinde kurulu olan ve Kars'ın simge yapılarından birisi olan Kars Kalesi, güney sur duvarları üzerindeki burçta yer alan kitabesine göre 12. yüzyıl ortalarında Saltuklulardan Melik İzzeddin’in veziri Firuz Akay tarafından yaptırılmıştır. Ancak saldırı ve savaşlarla sık sık tahrip olan kale birçok kez onarım geçirmiştir.

Osmanlılar devrinde, Kanuni Sultan Süleyman’ın emriyle 1548 yılında ve ardından Lala Mustafa Paşa’nın 1579 yılındaki büyük imar faaliyetleri esnasında tamir edilmiştir

Karadağ’ın en yüksek noktasına kurulan İç Kale, doğu-batı doğrultusunda dikdörtgen bir plan şemasına sahiptir. İçerisinde; kale mescidi ve türbesi yanı sıra koğuş, kışla, cephanelik, sarnıç gibi diğer birimler bulunmaktadır.