Yükseköğrenimini Johns Hopkins Üniversitesi (ABD) İşletme Bölümü’nde yapmıştır. Çalışma hayatına Koç Topluluğu’nda 1958 yılında Otokoç şirketinde başlamıştır.1980 yılında İcra Komitesi Başkanı olduktan sonra,1984 yılında Koç Holding Yönetim Kurulu Başkanı olmuştur. 2003 yılından itibaren de Koç Holding Şeref Başkanı unvanıyla çalışmalarını sürdürmektedir. Sayın Rahmi M. Koç’un, Koç Holding’in yanı sıra, diğer Koç Topluluğu şirketlerinde de Yönetim Kurulu Başkanlığı ve Üyeliği görevleri bulunmaktadır. Rahmi M. Koç’un birçok hayır kurumunda, sosyal ve mesleki kuruluşta üstlendiği görevler ise: Vehbi Koç Vakfı Mütevelli Heyeti Başkan Vekili, Koç Üniversitesi Mütevelli Heyeti Onursal Başkanı, Rahmi M. Koç Müzecilik ve Kültür Vakfı Kurucusu ve Yönetim Kurulu Başkanı, Vehbi Koç Vakfı Amerikan Hastanesi Yönetim Kurulu Başkanı, TURMEPA/Deniz Temiz Derneği Kurucu Üyesi ve Onursal Başkanı, TÜSİAD Yüksek İstişare Konseyi Onursal Başkanı, Türkiye İşveren Sendikaları Konfederasyonu Danışma Kurulu Üyesi, Global İlişkiler Forumu Kurucu Başkanı, Uluslararası Ticaret Odası Eski Başkanı (1.1.1995-31.12.1996 arası), Metropolitan Sanat Müzesi, New York, Onursal Mütevelli Heyeti Üyesi, Güneydoğu Avrupa İşbirliği Girişimi, İş Danışma Kurulu Eşbaşkanı, Türk Yunan İş Konseyi Eski Başkanı (1992-1999 arası), Allianz Aktiengesellschaft Uluslararası Danışma Kurulu Eski Üyesi, J.P. Morgan Uluslararası Konseyi Eski Üyesi, ABD Dış İlişkiler Konseyi Uluslararası Danışma Kurulu Eski Üyesi.