Але покинувши його, він знав, що може рухатися вільніше. Отже коли війська генерала Філіпа Шерідана розбили оборону Конфедерації у Файв-Форкс у суботу 1 квітня, Лі прийняв рішення залишити оборону Петербурга і, роблячи це, покинути Річмонд.
До квітня 1865 р. уряд Конфедерації зрозуміли, що облога майже закінчилася, і покинули місто, щоб не бути захопленими. Конфедерати, що відступали, вирішили спалити військові запаси, а не дозволити їм потрапити в руки Союзу; пожежа, що виникла, знищила більшу частину центральної частини Річмонда.
Сили генерала Гранта контратакували через тиждень 1 квітня у Файв-Форкс, що змусило Лі покинути Річмонд і Петербург наступного дня. Армія Конфедерації відступала на південний захід уздовж залізниці Річмонд і Денвілл. Лі відчайдушно шукав потяг, навантажений припасами для своїх військ, але не зустрів жодного.
Конфедерати спалили Річмонд, штат Вірджинія, свою столицю, перш ніж вона впала до військ Союзу в квітні 1865 року.
Мені не потрібно говорити відважним, хто пережив стільки тяжких битв, які залишалися непохитними до останнього, що я погодився на результат без недовіри до них… Я вирішив уникати марних жертв тих, чиї минулі заслуги привернули їх до своїх співвітчизників… Я прощаюся з вами з ніжністю».
Замість того, щоб знищити свою армію і пожертвувати життями своїх солдатів без жодної мети, Лі вирішив здати армію Північної Вірджинії. Через три дні офіційна церемонія відзначила розпуск армії Лі та умовно-дострокове звільнення його людей, що поклало кінець війні у Вірджинії.