Die Remise, in dem sich heute das Restaurant, Doppelzimmer und Apartments befinden, beherbergte ursprünglich die Pferde und Kutschen des Schlosses Stolpe der Familie von Schwerin. Dieses alte mecklenburgische und pommersche Adelsgeschlecht blickt auf eine über 800jährige Geschichte zurück. Die sogenannte „Stolper Linie“ begann im Jahre 1321.
Otto von Schwerin (1568–1612) ließ Ende des 16. Jahrhunderts in Stolpe ein Herrenhaus im Stil der Hochrenaissance errichten. Nach Schäden während des Dreißigjährigen Krieges wurde das Gebäude zwischen 1690 und 1700 wieder aufgebaut und dabei im Stil des Barock umgebaut. Es blieb dann zunächst bis 1753 in Familienbesitz.
Nach mehreren Eigentumswechseln gelangte das Herrenhaus 1896 wieder in den Besitz der Familie von Schwerin. Bis 1905 ließ Friedrich Graf von Schwerin (1869–1924) es grundlegend umbauen. Zu dieser Zeit erhielt es seinen schlossähnlichen Charakter mit den drei Türmen, einem Arkaden-gang mit Rundbogenfenstern und dem Portal in der Mitte.
Als die Rote Armee Usedom 1945 erobert, kommt auch in Stolpe zu Plünderungen. Nach der Bodenreform 1945 muss die letzte Besitzerin, Friedrichs Witwe Freda Gräfin von Schwerin, Stolpe verlassen. Als sie 1957 verarmt in Lüneburg stirbt, wird sie nach Stolpe überführt und auf dem Dorffriedhof beerdigt. Dabei geben der Gräfin mehr als 2.000 Gutsmitarbeiter, Bauern, Freunde und Verwandte das letzte Geleit – gegen den Willen von Staat und Partei.
1949 wird der Mittelteil des Schlossensembles abgerissen, um Baumaterial für andere Gebäude zu erhalten. Zu DDR-Zeiten werden Schloss und Remise „vielseitig“ genutzt: als Maschinen-Traktoren-Station, Lager und als Reparaturwerkstatt für Melkmaschinen. Später wird das Schloss als Gaststätte und Ferienlager genutzt.
Ab 1990 steht das Gebäude leer, dem Verfall preisgegeben. 1996 gelangt das Schloss in den Besitz der Gemeinde Stolpe – noch im gleichen Jahr wird mit Sanierungsarbeiten begonnen.
2001 gründet sich ein Förderverein, der die Sanierung in mehreren Bauabschnitten vorantreibt.
Im August 2012 beginnt dann auch die Sanierung der Remise. Heute bilden Schloss und Remise zusammen mit den Außenflächen, dem Dorfteich, der nahegelegenen Kirche wieder den lebendigen Mittelpunkt der Gemeinde Stolpe. Das Schloss kann besichtigt werden, eine Ausstellung informiert über die Bau- und Eigentümergeschichte und es finden regelmäßig kulturelle Veranstaltungen statt. Das Restaurant mit Außen- und Hofterrasse lädt zum Verweilen, Genießen und Feiern ein.
