Im Westen der Stadt gelangt man zu dem berühmten Espantor von 1467. Mit ‚Espan‘ bezeichnete man im Mittelalter ein bestimmtes Stück Land, das von der Dreifelder-Landwirtschaft ausgenommen war, also gemeinschaftlich als Viehweide bzw. Festplatz genutzt wurde. Oben im Sandstein des weißen Turms mit dem roten Ziegeldach ist das Wappen von Isny zu erkennen: der Reichsadler, Symbol dafür, dass Isny einst unmittelbar dem Kaiser unterstand. Unten gibt es heute wieder buntes Treiben – auf dem Wochenmarkt.