Der wirtschaftlich und kulturell Höhepunkt Ulms war um das 15. Jahrhundert. Im Besitz von 55 Dörfern entwickelte sich die Stadt zum Umschlagplatz für Textilwaren, Holz, Wein, dem wichtigen Eisen und Salz sowie zum einen der bedeutendsten Kunstzentren im süddeutschen Raum. Wichtigsten Ausfuhrartikel, Flügelaltäre und Skulpturen, aber auch andere Kunstgegenstände, gelangten bis Holland, Südtirol und Wien. Die Entdeckung des Seewegs nach Indien und Amerikas sowie die fuggerische Konkurrenz und die daraus resultierende Verlagerung der Handelsrouten Richtung Augsburg veränderten die wirtschaftliche Situation langsam aber sicher bis zum Niedergang. 1770, nach Kriegen, Seuchen, Erpressungen von Belagerern und Reparationszahlungen, war das ehemals so reiche Ulm schlichtweg pleite. Die Teilung Ulms in das baden-württembergische Ulm und das bayerische Neu-Ulm erfolgte 1810 im Rahmen eines Gebietstausches zwischen den beiden Königreichen. Mit dem Bau des Ulmer Münsters mit seinem bis heute höchsten Kirchturm der Welt und der Bundesfeste kamen wieder Menschen in die ziemlich entvölkerte Stadt, mit der Folge, dass sich neue Industrie- und Wirtschaftsunternehmen gründeten - Ulm erlangte wieder Wohlstand, wozu auch die in der Bundesfeste stationierten Truppen, ein Sechstel der Bevölkerung, beitrugen. Der Erste Weltkrieg (1914-1918) traf durch Truppenreduzierungen und Reparationszahlungen Ulm schon hart, der Zweite Weltkrieg (1939-1945) zerstörte einundachtzig Prozent der historischen Altstadt, wobei erstaunlicherweise das große Münster kaum Treffer abbekam und fast unbeschädigt blieb.

Die Ulmer Innenstadt erlitt nach den großen Zerstörungen das Schicksal viel anderer Orte, der Aufbau erfolgte im Stil und Geist der fünfziger und sechziger Jahre, wobei auch vor dem Abriss noch intakter historischer Bausubstanz zugunsten autogerechter Straßen und funktioneller, "moderner" Mietsblocks niemand zurückschreckte. Allerdings ist in Ulm zumindest durch die Rekonstruktion bedeutender Gebäude der Stadtgeschichte und einer einigermaßen vertretbaren Anpassung der Neubauten an das Gesamtbild die Innenstadt nicht so hässlich wie zum Beispiel von Ludwigshafen oder Heilbronn.

Der Wohl schönste Stadtteil von Ulm dürfte das Fischer- und Gerberviertel mit seinen alten Fachwerkhäusern in den winkeligen Gassen sein, seit dem Mittelalter siedelten sich am Zufluss von Blau zur Donau an Handwerker an. Neben Wohnungen entstanden in den überwiegen sehr gut renovierten respektive sanierten alten Gemäuern hübsche Restaurants, urige Kneipen und nette, unauffällige Läden. Ganz witzig ist das sogenannte "Schiefe Haus" von 1443 mit seiner Neigung von neun bis zehn Grad, in dem sich seit 1995 ein Hotel befindet. Im Besitz eines Architekten stellt es ein hervorragendes Beispiel für perfekte Sanierung alter Gemäuer unter Denkmalschutzrichtlinien dar, wer sich hier einmietet, muss sogar im einundzwanzigsten Jahrhundert bei allem Komfort Höhenunterschiede von bis zu vierzig Zentimetern im Zimmer ertragen (wobei zumindest das Bett geradesteht …..). Das wunderschöne Fischer- und Gerberviertel ist ein Wohnort für Romantik und flexible Menschen, denn in vielen Gebäuden gibt es auch nach Umbauten nur selten neunzig Gradwinkel und gerade Flächen, trotzdem sind die Objekte begehrter Wohnraum, wenn auch schwer zu bekommen. Auch Wohnraum im Viertel "Auf dem Kreuz" sind begehrt, wobei hier circa die Hälfte der Bauten aus dem Mittelalter stammt und die andere Hälfte aus den nachfolgenden Jahrhunderten. Dennoch hat das Viertel viel Charme, verkehrsberuhigt und zentrumsnahe lebt hier eine bunte Mischung von Alt und Jung.

Von den achtzehn Stadtteile Ulms waren die meisten ursprünglich eigenständige Dörfer und konnte sich zum Teil ihren Charakter bewahren, andere, wie Wiblingen, haben sich angepasst. Ulm ist eine pulsierende, interessante Stadt mit vielen Gesichtern, eine gelungene Mischung aus Bayern und Baden-Württemberg.