Harput'un beş kilometre doğusunda kendi ismiyle anılan "Ankuzu Tepesi"nin üzerinde yatmaktadır. Kayalarla kaplı bulunan bu tepe Harput çevresinin en yüksek yerlerinden birisidir . Türbe bu tepenin en üst kısmında bulunan bir düzlük üzerindedir. Duvarları taşlarla ve betonla örülerek inşa edilmiş, tavanı ise eğimli bir beton tabiiye ile kapatılmıştır. Oldukça küçük olan Ankuzu Baba Türbesi tek mekânı olup, elektriği ve suyu yoktur. Ayrıca türbeye herhangi bir şekilde taşıt yolu yapılmamıştır. 16. Yüzyılda türbenin hemen yanı başında bir zaviye olduğu çeşitli kayıtlarda geçmektedir. Bugün bu zaviyeden hiç bir eser kalmamıştır. Evliya Çelebi meşhur "Seyahatnamesinde’’ Ankuzu Baba zaviyesi ve türbesinden bahseder. Burası Osmanlı Dönemine ait çeşitli kayıtlarda değişik isimlerle anılmıştır. Başvekâlet Arşivi tapu defterinde "Ey Kuzu" denildiği gibi Hicri 1115 tarihli bir başka vesikada da "Aynül Kuzat" olarak isimlendirilmiştir. Bazı rivayetlere göre onun 8. ve 9. yüzyıllarda Arap-Bizans savaşları esnasında Arap ordularına katılan bir asker olduğu ve burada şehit düştüğü belirtilir, kuzu Baba Dağı'nın yamacında bulunan bir kaya üzerindeki at nalına benzeyen çukurluğun Ankuzu Baba'nın atının izi ve taşlar üzerinde bulunan kırmızı lekelerin de Ankuzu Baba'nın yaralarından damlayan kan izleri olduğu yolunda bazı efsaneler anlatılır. Harput çevresinde Ankuzu Babayla ilgili anlatılan bazı kerametler halkın buraya karşı gösterdiği ilginin boş olmadığına işarettir.
