Die frühere Schlossanlage (wo heute das Neue Palais steht) war ein großer Vierflügelbau, der sich im Stil der Spätrenaissance mit mächtigen Giebeln und einem Schneckenturm zeigte. Dazu gehörten ein Lustgarten, ein Lusthaus und eine Terrasse am Elbufer. Aus dem 17. Jahrhundert blieb die östlich des Wasserpalais gelegene kleine Bastion erhalten, die zu dem einst am Elbufer stehenden Lusthaus gehörte. Weil ihr elbseitiges Gemäuer einen Löwenkopf trägt, wird sie auch Löwenkopfbastei genannt.