Yüksek lisansını ABD Denver Üniversitesi Uluslararası İlişkiler Bölümü'nde ve doktorasını Bilkent Üniversitesi Siyaset Bilimi ve Kamu Yönetimi Bölümü'nde tamamlamıştır.
Cevdet Yılmaz, çeşitli görevlerde bulunmuştur. Başbakanlık DPT Müsteşarlığı, AB ile İlişkiler Genel Müdürlüğü gibi önemli pozisyonlarda görev yapmıştır. Ayrıca Ulusal Ajans, ATAUM ve Sümer Halı gibi kuruluşlarda Yönetim Kurulu üyelikleri yapmıştır.
Siyasi kariyerine de önemli katkılarda bulunmuştur. Bingöl milletvekili olarak 23, 24, 26 ve 27. Dönemlerde görev yapmıştır. Ayrıca 25. Dönemde Diyarbakır milletvekili olarak seçilmiştir. Parlamentolararası Birlik (PAB) Türk Grubu Başkanlığı görevini üstlenmiştir.
Cevdet Yılmaz, AK PARTİ'nin bir üyesi olarak çeşitli hükümetlerde görev almıştır. 60. Hükümette Devlet Bakanı olarak görev yapmış, 61, 62 ve 64. Hükümetlerde Kalkınma Bakanı olarak görev almıştır. Ayrıca 63. Hükümette Başbakan Yardımcısı olarak görev yapmıştır. AK PARTİ MKYK Üyesi olarak görev yaparken, Tanıtım ve Medya, Dış İlişkiler ve Ekonomi İşlerinden Sorumlu Genel Başkan Yardımcısı olmuştur.
Cevdet Yılmaz, 2020 yılı Kasım ayından bu yana Türkiye Büyük Millet Meclisi Plan ve Bütçe Komisyonu Başkanlığı görevini sürdürmektedir. Ayrıca çok iyi düzeyde İngilizce bilmektedir. Evli ve iki çocuk babasıdır.
