Ali Baba Mahallesi’nde bir camidir ve son cemaât mahalinde bir türbe, tekke ve önünde çeşmesi bulunmaktadır. Vakfiyesinde tekkenin yanında Küçük Ali Baba tarafından bir de mektep yaptırıldığı belirtilmektedir.
Saim Savaş’ın “XVI. Asırda Sivas’ta kurulan Ali Baba Zaviyesi’nin Dînî Sosyal ve Ekonomik Fonksiyonları Hakkında Bir Araştırma” adlı basılmamış doktora tezinde, 1574’lerden önce Büyük Ali Baba zamanında bir mescidin yapıldığı, Büyük ve Küçük Ali Baba dönemlerinde adı geçen bu mescide 1714’te minber konmak ve hatip tayin edilmek suretiyle cami haline getirildiği, eski mescidin yıkılması sonucu Küçük Ali Baba tarafından yeniden ve son cemâat yerindeki türbenin de dede ve babasının kabirleri üzerine yaptırıldığı belirtilmektedir.
1714’lerde cami haline getirilen yapıya 1785’lerde vakıf mütevellisi Şeyh Feyzullah Efendi tarafından bir minare yaptırılmıştır.