В пам'ять про святого Віктора в Марселі були засновані два монастирі – чоловічий і жіночий, обидва були закладені засновником Іваном Касіяном на початку V століття.

Віктор Марсельський жив в III столітті і був страчений за наказом імператора Максиміана за відмову брати участь у язичницьких жертвоприношеннях. Монастирі були побудовані на місці поховання Віктора і ще кількох мучеників за віру. Монастир Сен-Віктор в Марселі вважається одним з найстаріших на території сучасної Франції, поряд з абатствами Мармутьє в Турі (III століття, засновник Мартін Турський) і Леринским (початок V століття, засновник святий Онорат).

У IX столітті монастир, колишній резиденцією єпископів Марселя, був розграбований під час набігів сарацинів, а жіноча обитель і зовсім була зруйнована і пізніше не була відновлена. Чоловічий монастир був заново побудований в кінці X століття за розпорядженням єпископа Онората II. Саме в цей час була зведена церква, яка збереглася до теперішнього часу. У другій половині XIV століття настоятель Гійом Гримоар (згодом став папою Урбаном V) розширив будівля церкви і обгородив його муром.

У часи Великої Французької революції абатство було розорене, а його приміщення були перетворені в комору, в'язниці і казарми. У самому початку XIX століття в церкві знову стали проводити богослужіння, а через кілька десятиліть всьому комплексу абатства Сен-Віктор був привласнений статус національного історичного пам'ятника. Реставрація збережених будівель монастиря почалася лише через сто з гаком років, вже у другій половині XX століття.

З особливостей і реліквій церкви варто відзначити біломармуровий вівтар V століття, статую святого Віктора, орган середини XIX століття, підземну крипту з усипальницями єпископів, де зберігається одна з головних цінностей – статуетка Чорної Мадонни. З крипти в церкву цей образ піднімають тільки під час святкування Стрітення Господнього. Крім цього, в абатстві зберігається колекція саркофагів, які визнані зразками ранньохристиянського мистецтва. Колись монастир мав і великою бібліотекою, але вона була втрачена в XVI столітті, зберігся тільки бібліотечний каталог.