Cevdet Yılmaz, 20 Haziran 1973 yılında Bingöl‘de doğdu.
Orta Doğu Teknik Üniversitesi Kamu Yönetimi Bölümü‘nden mezun olduktan sonra ABD Denver Üniversitesi Uluslararası İlişkiler Bölümünde yüksek lisansını, Bilkent Üniversitesi Siyaset Bilimi ve Kamu Yönetimi Bölümünde ise doktorasını tamamladı.
Başbakanlık Devlet Planlama Teşkilatı Müsteşarlığı‘nda planlama uzman yardımcısı, Devlet Planlama Teşkilatı AB ile İlişkiler Genel Müdürlüğü görevlerinde bulundu.
Haziran 2015 Türkiye genel seçimleri’nde Diyarbakır milletvekili olarak meclise girdi.
Bu seçimlerde hiçbir parti tek başına iktidar olmak için gereken sandalye sayısına ulaşamayınca ve koalisyon görüşmelerinden sonuç alınamayınca erken seçime gidilme kararı alındı.
Davutoğlu başkanlığında kurulan Seçim hükümeti’nde 28 Ağustos tarihinde Başbakan yardımcısı olarak görevlendirildi.
Bu görevini 24 Kasım 2015 tarihinde kadar sürdüren Yılmaz, Kasım 2015 Türkiye genel seçimleri’nde Bingöl milletvekili olarak meclise girdi.
AK Parti Ekonomi İşleri’nden sorumlu Genel Başkan Yardımcısıdır.
Cevdet Yılmaz, çok iyi düzeyde İngilizce bilmekte olup evli ve iki çocuk babasıdır.