Ayhan Yılmaz, 1963 yılında Kilis'in Musabeyli ilçesinde dünyaya geldi.
İlk, orta ve lise öğrenimimi Gaziantep’te tamamlayan Yılmaz, 1983 yılında üniversite eğitimini yarıda bırakarak Gaziantep’te ticarete atıldı.
2004 yılına kadar tarım ve yem ürünleri üzerine ticaretle uğraştı. 2004 yılı yerel seçimlerinde Doğru Yol Partisinden Musabeyli ilçe belediye başkanı olarak seçildi. 2009 yılında ise aynı ilçede MHP'den belediye başkanı olarak seçilen Yılmaz, 2014 seçimlerinde ise AK Parti'den seçildi.
2 dönemdir AK Partiden ilçe belediye başkanlığını sürdüren Ayhan Yılmaz evli ve 3 çocuk babasıdır.