Kaleiçi Mahallesi’ndeki Eski Saray Sokak’ta, Evliya Camii’nin yaklaşık 50 m kadar kuzeydoğusunda bulunan Ulu Camii, kuzey cephesindeki kitabelere göre 1579 yılında Sultan III. Murad zamanında inşa ettirilmiştir. Cami, Sultan I. İbrahim döneminde 1643 yılında Kars Beylerbeyi Dilaver Paşa eliyle onarım görmüştür. 1773 yılında da Hacı İbrahim adlı bir kişi tarafından yeniden tamir edilmiştir. 1878-1918 yılları arasındaki Rus işgalinde silah deposu olarak kullanılmış ve 1918 yılında Ermeniler tarafından yakılmıştır. 1997 ve 2009 yıllarında onarımlar görerek tamamen yenilenmiştir. Cami, orijinal haliyle kareye yakın dikdörtgen planlı, ahşap destekli ve düz dam ile örtülü iken son onarımlarda tamamen yenilenmiş ve kubbeli hale getirilmiştir. Günümüze sadece cephe duvarlarından birkaç bölüm ve mihrabı gelebilmiştir. Kesme taş malzemeli mihrap nişi, dikdörtgen bir çerçeve içerisinde sivri kemer formludur.