Hádim sözcüğü kelime olarak “hizmet eden” anlamına gelmektedir.
Hadımköy çevresindeki fazla miktarda Rum köyüne karşılık Padişah Fatih Sultan Mehmet Han'ın buyruğu ile o dönemdeyaşamış olan Hadim Ağalarından "HADİM BABA" adındaki bir zatın bağışladığı topraklar üzerine kurulmuş bir meskûn mahaldir.İlk nüfusu civar yerleşim yerlerinden ve Anadolu'dan getirilen Türkler teşkil eder. Bucağın Hadımköyadını buradan aldığı bilinmektedir.
Hadim Baba, Hadımköy'de kendi adını taşıyan caminin avlusundaki türbesinde yatmaktadır. Geçmişihakkında çok az bilgi bulunan tarihi caminin, II. Abdülhamit döneminde inşa edildiği ve resmi açılışının da aynı yıl yapıldığı kaynaklarda yer alıyor. 1956 yılında
esaslı bir onarım geçirmiş bulunan caminin kitabesi vehaziresi orijinal yapısını korumuş.
Yıllarca ayakta kalmayı başarmış manevi iklimle dolu Hadım Baba Camii, İstanbul İl Özel İdaresi’nineliyle 2014 yılında yeniden restore edildi.