Yukarı Mezopotamya bölgesindeki en eski kiliselerden biri olarak bilinen bu kilise, MS 309 yılında Nusaybin piskoposluğuna getirilen Mor Yakup tarafından 313 yılında inşa ettirilmeye başlanmıştır. Bazı yazıtlardan ve metinlerden; kilisenin burada bulunan Nusaybin Katedraline ait vaftizhane binası olarak inşa edildiği, ancak sonraki dönemlerde katedralin ve diğer yapıların yıkılmasıyla birlikte Mor Yakup Kilisesine dönüştürüldüğü anlaşılmaktadır. Mor Yakup Kilisesi İle Zeynel Abidin Caminin birbirleriyle olan ilişkisi sadece yakın konumlanmalarından ibaret olmayıp ortak bir geçmişi yansıtmaktadırlar.
Mor Yakup’un Müslümanlardan gördüğü saygı nedeni ile 1600 yıl boyunca kilise ayakta kalmayı başarmıştır.