Kaleiçi Mahallesi’nde, Evliya Camii’nin doğusundaki büyük meydanda bulunmaktadır. Yapı orijinal haliyle 932-937 tarihleri arasında Bagratlı Emiri Abas tarafından Hz. İsa’nın on iki havarisine atfen yaptırılmış bir kilisedir. Düzgün kesme bazalt taş malzeme ile inşa edilen yapı, merkezi kubbeli ve yonca planlıdır. Kubbe kasnağının dış yüzeylerinde on iki havariyi simgeleyen insan rölyefleri bulunur. Kilise 1064 yılında Selçukluların Kars’ı fethetmelerinden sonra camiye çevrilmiştir. Rus işgali sonrası tekrar kiliseye çevrilen yapı, 1969-1980 yılları arasında müze binası olarak kullanılmıştır. 1994 yılında Kümbet Camii olarak tekrar ibadethane özelliği kazanan yapı, 2007 yılında Vakıflar Genel Müdürlüğünce restore edilmiştir.