Получив офицерский чин в 1821 году, преподаёт в Берлинском кадетском корпусе. В 1830 году зачислен на службу при прусском Генеральном штабе. В 1844—1848 годах был воспитателем прусского принца Фридриха Карла, после этого служит на различных командных и штабных должностях. Назначенный в 1849 г. начальником штаба корпуса, был направлен на подавление революции в Бадене. С 20 июня 1856 года — командир 20-й пехотной бригады, 15 октября 1856 года произведен в генерал-майоры. 22 ноября 1858 года назначен командиром 14-й пехотной дивизии, а 31 мая 1859 года получил чин генерал-лейтенанта.С 2 сентября 1859 года занимал должность министра по вопросам реорганизации армии, а уже 5 декабря 1859 года назначен Военным министром Пруссии и оставался на этой должности до 1873 года. С 16 апреля 1861 по 31 декабря 1871 года одновременно был Морским министром Пруссии. 8 июня 1866 года произведён в генералы от инфантерии.

Провёл военные реформы, резко повысившие боеспособность прусской армии (увеличение численности армии, введение трёхлетней действительной службы, ускорение мобилизационных мероприятий и прочие), сыгравшие большую роль в победах Пруссии в войнах с Данией (в 1864 г.), Австрией (1866 г.) и Францией (в 1870—1871 гг.). Был дружен с королём Вильгельмом I, что позволило Роону оказывать влияние и на внутреннюю политику Пруссии. Так, по его представлению Отто фон Бисмарк был назначен министром-президентом Пруссии. Когда же Бисмарк был провозглашён рейхсканцлером Германии, Роон занимавший должность министра-президента Пруссии с 1 января 1873 выходит в отставку. 5 апреля 1873 года российский император Александр II пожаловал Роону орден св. Георгия 3-й степени № 527.