İçinde Tunçkaya Köyü’nü barındıran kalenin ilk olarak ne zaman ve kimler tarafından yaptırıldığı hususu net değildir. Ancak tarihi olaylarda adı geçmesi sebebiyle, kalenin ilk kez Romalılar tarafından inşa edildiği söylenebilir. Hatta bu dönemde Artageria adıyla anılmıştır. Evliya Çelebi, kalenin Abbasi halifelerinden Ebu Cafer Mustansır Billâh El-Mansur Bin Zahir (1226-1242)’in hâkimiyetine girdiğini ve Moğollardan Hulâgû Han (1217-1265) tarafından yakılıp yıkıldığını ve kalede yaşayan halka da zulmedildiğini belirtmektedir. Bundan sonra Karakoyunlu hükümdarı Kara Yusuf (1357-1420) zamanında yeniden tamir edilen kale, sonraki yıllarda Timur (1336-1405) tarafından harap edilmiştir. Kale, Kanuni Sultan Süleyman’ın 1554 yılındaki Nahçıvan Seferi sırasında, Lala Mustafa Paşa tarafından fethedilerek Osmanlı’ya bağlanmıştır. Evliya Çelebi, bu kaleye de uğramış ve buradan “Geçkovan Dudman Kalesi” diye bahsetmiştir. Ayrıca üç adet cami ve doğu ucundaki 12. yüzyıla ait bir Selçuklu kümbetinin varlığını da belirtmektedir. Evliya Çelebi’nin bahsetmiş olduğu camilerden sadece birisi kısmen günümüze ulaşabilmiştir. Yarım yuvarlak planlı mihrap nişi vardır. Doğu uçtaki şapeli ise dikdörtgen planlı olup tek neflidir. Apsisi içten yarım yuvarlak, dıştan düz duvarlıdır. Şapel, batı cephesindeki giriş kapısında kullanılan “kufi karakterli harfleri andıran” bordür süslemeleri ile dikkati çeker. Selçuklu üslubundaki bu süslemeler başta olmak üzere şapelin kriptaya sahip olması ve yöre halkı tarafından ziyaret yeri olarak kullanılması gibi nedenler, muhtemelen buranın Evliya Çelebi tarafından Selçuklu kümbeti olarak algılanmasına sebep olmuştur.