Noch im 19. Jahrhundert kassierten Grenzer und Zöllner fleißig ab, denn die beiden spiegelgleichen Torhäuschen dienten als Grenz- und Zollstation der Stadt. Damals waren die Affentorhäuschen nur ein Teil einer gesamten Anlage mit Zäunen, Wällen und weiteren Toren. Der Großteil der Anlage wurde nach dem Fall der Zollschranken beseitigt und zwei Tore fielen den Bomben des 2. Weltkrieges zum Opfer. Nach einer Restaurierung in den Nachkriegsjahren treffen sich hier jetzt wieder Bürger und Besucher der Stadt in Kneipen und Gaststätten.