Kars il merkezinde, Sultan III. Murad döneminde, Kars Kalesi onarılırken burada cami, medrese ve hamam yaptırmıştır. Bu camilerden biri olan Evliya Camisi 1579’da yaptırılmıştır. Cami XVII. yüzyılın başlarında yıkılmış, kısa bir süre sonra da onarılmıştır. Cami haziresinde bulunan Ebü’l Hasan Harakani adına 1579 tarihinde bir türbe yaptırılmış. Ebü’l Hasan Harakani, Anadolu’nun Türkleşmesinde ve aydınlanmasında büyük rol oynayan Evliya Alperenlerden birisidir. Bu sebeple Evliyanın türbesinin bulunduğu yere Padişah III. Murad’ın emri ile Evliya camii yaptırılmıştır. Camii 1988-1989 yıllarında minaresinin orijinal yapısını korumak kaydıyla yeniden yaptırılmıştır. Camii Vakıflar Genel Müdürlüğü mülkiyetindedir. 1579 tarihinde Lala Mustafa Paşa tarafından Kars şehrinin imarı çalışmaları sırasında şehirde yapılan 9 adet Osmanlı camisinden birisidir. Cami kesme taştan kare planlı olarak yapılmıştır. Onarım sonrası özelliğini kısmen yitirmiştir. 1579 yılında yapılan caminin minaresi orijinal özelliklerini koruyarak günümüze ulaşmıştır. Ancak bugünkü durumunda, payeler üzerine oturan merkezi kubbe mihrap önündeki sahnı kapsamaktadır. Son cemaat yeri ile arasındaki boşluğun üzeri de iki sıra halinde beşer küçük kubbe ile örtülmüştür. Diğer yanındaki kubbe dışında kalan mekanların üzerleri yine beş küçük kubbe ile örtülüdür. Caminin önündeki son cemaat yeri duvar uzantıları arasında üzerleri kubbeli beş bölüm halindedir. Caminin mihrap ve minberi sonradan yapılmış olup mimari yönden bir özellik taşımamaktadır. Minaresi kare kaide üzerinde yuvarlak gövdeli ve tek şerefelidir. Bu minare caminin ilk yapımından kalmış, orijinalliğini korumuştur. Kesme taştan yapılmış olan minare, renkli taşlarla geometrik desenlerin hakim olduğu bezemeye sahiptir. Caminin yanında bulunan ve Horasanlı Hasan-ı Harakani’nin kare planlı, kubbesi çini kaplı türbesi bulunmaktadır.
