Servet Yılmaz Trabzon’da (Araklı) doğdu. İstanbul Şile’de Emniyet Müdürlüğü, İstanbul Emniyet Müdür Yardımcılığı vazifelerini muvaffakiyetle yerine getiren Yılmaz, Kahramanmaraş Emniyet Müdürlüğü misyonundan sonra Vilayet Emniyet Müdürleri kararnamesi ile Emniyet Genel Müdür Yardımcılığına atandı.
Terör, KOM üzere kritik ve operasyonel ünitelerin bağlı olduğu Servet Yılmaz, 2016 yılındaki kararname ile Kahramanmaraş Vilayet Emniyet Müdürlüğü vazifesinden Emniyet Genel Müdür Yardımcılığına getirilmişti.
25 Ocak 2015 tarihinde Kahramanmaraş Emniyet Müdürlüğü misyonunda bulunan Servet Yılmaz, 2016’da bir kararname ile terör, kaçakçıklık ve organize kabahatlerle uğraş ünitelerinin bağlı bulunduğu Emniyet Genel Müdür Yardımcılığına atandı. Bu ünitede FETÖ ve PKK ile kritik operasyonlara imza attı.
Ankara Emniyet Müdürü Mahmut Karaaslan’ın emekliliğini istemesi üzerine 19 Ağustos 2017’de Ankara Emniyet Müdürlüğü vazifesine getirildi.