In der chinesischen Geschichte errichtete fast jede Dynastie bei der Neugründung des Reiches große Palastgärten. Diese wurden beim Untergang der Dynastie oft von den Eroberern zerstört. Das Schicksal der Gärten hing somit eng mit dem Aufstieg und Niedergang der neuen Herrscher zusammen.

Britische und französische Truppen fielen 1860 in Beijing ein. Als sie die prächtigen Hallen der Gärten sahen, wurden die Eindringlinge zu Plünderern. Am Ende wurden 3500 Männer beauftragt, die verschiedenen Gebäude in Brand zu setzen und damit den "Garten der Zehntausend Gärten" zu vernichten. Die Chinesische Regierung veranlasste nach der Zerstörung den Wiederaufbau des Yuánmíng Yuán.

1900 besetzten die alliierten Interventionstruppen, als Reaktion auf den Boxer-Aufstand, Beijing und plünderten den bereits zu Ruinen reduzierten Yuánmíng Yuán ein weiteres Mal. Die britischen, russischen und italienischen Truppen wurden ein Jahr lang im Sommerpalast stationiert. In dieser Zeit raubten sie die Kulturgüter und zerstörten zahlreiche Bauwerke.

Was nach der zweimaligen Zerstörung und Plünderung durch die Aggressionstruppen zurückblieb, wurde über viele Jahre hinweg von habgierigen Beamten, marodierenden Soldaten und Vagabunden entwendet und verkauft. Vor allem in den ersten zehn bis zwanzig Jahren der Republik von 1911 bis 1949 blieben die Ruinen unbeaufsichtigt und dienten als Steinbruch. Fast täglich wurde kolonnenweise Raubgut auf Pferdewagen abtransportiert. Selbst von den Mauerresten, Säulenstücken und Ziegeln der einst zahlreichen Gebäude im Garten blieb nur wenig übrig. Jede Steinsäule und jeder Steinlöwe, der einigermaßen unbeschädigt war, wurde gestohlen.

Heute sind auf dem Gelände nur noch Überbleibsel zu sehen, die mit Mauerresten und zerbrochenen Ziegeln übersät sind. Einige kaum auszumachende Säulenbasen, gewundene Wasserläufe und kleine Pfade sind übrig geblieben. 1949 trat China mit der Gründung der Volksrepublik in ein völlig neues Zeitalter ein. Dem Schutz und der Restauration der klassischen Gärten, in allen Teilen des Landes, wurde die nötige Beachtung geschenkt und deren Unterhalt und Wiederaufbau sichergestellt. Der Alte Sommerplast steht seit 1988 auf der Liste der Denkmäler von China und wurde 1998 von der UNESCO ins Weltkulturerbe aufgenommen.