Kaleiçi Mahallesi’nde, Karadağ Tepesi’nde, Karadağ Tabyanın kuzeybatısında, Kars Çayı’na hâkim bir noktada bulunmaktadır. Sultan Abdülmecit döneminde, 1848-1853 yılları arasında Erzurum Valisi Zarif Mustafa Paşa tarafından kurulan komisyon tarafından yaptırılan tabya; yaklaşık kare planlıdır. Batıdan gelerek güneye doğru yönelen “L” şeklinde taş duvarla örülü bir savunma hendeği ile çevrelenmiştir. Tabya ana kurgusunun köşelerinde yarım yuvarlak planlı savunma mevzileri vardır. İçteki kışla binası ise doğu-batı doğrultusunda yönlendirilmiştir.