Osmanlı döneminde Kaleiçi Mahallesi’nde bulunan birkaç Osmanlı yapısından biri olan Kars Ulu Camii, ilk olarak 16. yüzyılda Sultan III. Murat tarafından inşa edilmiş, fakat İran saldırıları sırasında Şah Abbas’ın orduları tarafından cami yıkılmıştır.

Ulu Cami, Sultan I. İbrahim döneminde 1643 yılında Kars Beylerbeyi Dilaver Paşa eliyle onarım görmüştür. 1773 yılında da Hacı İbrahim adlı bir kişi tarafından yeniden tamir edilmiştir. 1878-1918 yılları arasındaki Rus işgalinde silah deposu olarak kullanılmış ve 1918 yılında Ermeniler tarafından yakılmıştır. 1997 ve 2009 yıllarında onarımlar görerek tamamen yenilenmiştir.

Cami, orijinal haliyle kareye yakın dikdörtgen planlı, ahşap destekli ve düz dam ile örtülü iken son onarımlarda tamamen yenilenmiş ve kubbeli hale getirilmiştir. Günümüze sadece cephe duvarlarından birkaç bölüm ve mihrabı gelebilmiştir. Kesme taş malzemeli mihrap nişi, dikdörtgen bir çerçeve içerisinde sivri kemer formludur.