Всього в трьохстах метрах від Ульмського собору знаходиться район історичної середньовічної забудови — Рибацький квартал. Вузькі вулички, містки і будиночки, все просякнуте побутом і духом періоду розквіту старого Ульма. Рибацький квартал того часу, що виник біля берега річки Блау (притоки Дунаю), заселяли ремісники: рибалки, чинбарі, мельники і корабели. Протягом річки визначало найкраще місце для будівлі будинків, так як ці ремесла вимагали багато води. Млинові кола (у той час їх було 7), містки для вимочування шкір, причали для рибальських човнів впритул примикали до фасадів будівель. Їдкі розчини для дублення шкір вплинули навіть на зовнішній вигляд будівель: для кращого збереження їх додатково обшивали деревом.

Чимало історично важливих і просто цікавих будівель Ульма знаходиться в рибальському кварталі. Наприклад, так званий «Будинок Клятви», побудований в 1618 році. Саме з його балкона кожен передостанній понеділок липня бургомістр Ульма вимовляє щорічну мова і дає клятву вірно служити городянам. З північної сторони Рибацький квартал обмежений однією з найдавніших збережених будівель — стіною Штауфенів, залишками зведеного ними в кінці 12 століття королівського палацу.

Кілька оригінальних будівель є безперечними прикрасами Рибальського кварталу Ульма, такі як «падаючий дім», старий монетний двір, «гарний будинок» і багато інших.

В даний час у відреставрованих будівлях Рибальського кварталу розташовуються готелі, кафе і ресторани, магазинчики і сувенірні лавки.