일찍이 1943년 가을에 정치적 욕망에 의해 좌우되지 않는 순수한 직업군인이었던 로멜은 전쟁을 도저히 승리로 이끌 수 없다는 것을 확신했다. 또한 그는 히틀러가 그 사실을 직시할 자세도, 연합국들과 강화를 맺어야 한다는 불가피한 결론을 내릴 준비도 갖추고 있지 않다는 것을 분명히 느끼고 있었다. 1944년 봄 비밀리에 결성된 히틀러 반대파에 가입한 로멜의 친구 몇 명이 그에게 접근하여 히틀러가 축출된 뒤에는 로멜이 국가 원수직을 맡아야 한다고 제의했다. 그는 그 제의를 거절하지 않았지만, 독일을 전쟁으로부터 구출하려는 공모자들은 히틀러 암살계획을 로멜에게 알려주지 않았다. 그들은 로멜이 정치적인 목적의 살인을 옳게 생각하지 않는다는 것을 알고 있었다. 그는 히틀러가 내리는 일체의 처형명령을 한결같이 무시했던 것이다. 연합군의 침공이 시작되었을 때 그는 몇 번이나 히틀러에게 전쟁은 패했다는 것과 연합국들과 강화를 맺어야한다는 것을 지적하려고 했다. 1944년 7월 17일 전투가 한참 치열할 때 로멜의 차가 영국의 폭격전투기들의 공격을 받아 길에서 탈선했다. 차는 공중으로 튀어올랐고 그는 머리에 중상을 입고 병원으로 후송되었다. 그후 8월에 집으로 돌아가 요양할 수 있을 만큼 회복되었다. 그 사이 1944년 7월 20일에 있었던 히틀러 암살음모는 실패하고 로멜이 음모자들과 접촉한 사실이 밝혀졌다. 히틀러는 '국민의 원수'가 자신의 적으로 법정에 출두하고 법정에서 교수대로 보내지는 것을 원하지 않았다. 그는 2명의 장군을 로멜에게 보내 그가 재판을 받지 않는다는 조건으로 그와 그의 가족의 이름을 욕되게 하지 않겠다는 약속과 함께 자살을 권유했다. 10월 14일 로멜은 음독자살하여 일생을 마쳤다. 그의 장례는 최고의 예우로 치러졌다