Hier am bedeutendsten und ältesten Platz der Stadt standen bis zum großen Brand 1631 das Alte Rathaus und zuvor der Nonnenstein (steinernes Haus der Nonnen) sowie auch die Herberge der Barfüßer (Franziskaner aus Lindau). Dieses Gebäude wurde als „Domum Ulrici“ bezeichnet – das Amtshaus des Ulrich [Bild 1] und wurde 1288 von einem Isnyer Bürger an die Franziskaner verkauft.
Nachdem die Römer (15 v.Chr. bis um 400 n.Chr.) die Reichsstraße Kempten - Bregenz mit dem Reiterkastell Vemania und dem Wachturm Nellenbruck aufgegeben hatten, entstand bereits um das Jahr 1000 der Marktplatz in Isny an den bedeutenden Handelsstraßen Augsburg – Bregenz und in Richtung zu den Alpenpässen.
Im 12. Jh. tobte im Herzogtum Schwaben der Machtkampf zwischen den mächtigen Welfen und den Staufern. Das Herzogtum hatte eine bedeutende Schlüsselstellung im Heiligen Römischen Reich für den Zusammenhalt der Territorien südlich und nördlich der Alpen. Welf [Bild 2] der VI. hatte größtes Interesse am Markt und am Kloster Isny, das zwischen seinen Machtzentren Augsburg und Weingarten lag. Nachdem sein Sohn Welf VII. als hoffnungsvoller Nachfolger überraschend 1167 starb erlahmte sein Interesse und der Markt in Isny konnte durch Graf Wolfrat und sein Schwiegersohn Heinrich 1169-71 ausgebaut werden. In der kaiserlosen und rechtlosen Zeit (1245-1273) hatten auch mächtige Nachbarn gefallen am Isnyer Markt. Das wehrlose Isny musste vermutlich an Graf Ulrich von Montfort/Bregenz den Markt und die Burg [Bild 3] am Markt abgeben. Erst als der neue König Rudolf I. die Rückeroberung Schwaben durchführte, besserte sich die Lage und Isny stieg zur Reichsstadt auf. Dies ist nicht zuletzt den beiden gebürtigen Isnyer Heinrich und Konrad – beides Franziskaner- die inzwischen zu Bischöfen von Basel und Toul ernannt worden waren, zu verdanken.
Der Franziskaner und Bischof von Toul war ein Förderer des Franziskanerordens. Die Franziskaner-„Schwestern im Stein“ sind wohl auch in der Herberge der Franziskaner dem ehemaligen Amtshaus/Burg des Ulrich untergekommen. Sie sorgten sich um die Gesundheit der Isnyer, leisteten Hebammenhilfe und versorgten Pestkranke im Auftrag der Stadt. 1513 [Bild 4] verließen die Schwestern Isny im Streit mit der Stadt. Damit war der Platz für das prächtige Renaissance Rathaus mit den Seitentürmchen [Bild 5 u. 6] frei geworden.
