Kunst zu sammeln, Museen und Kunstwissenschaft zu unterstützen gingen bei Peter und Irene Ludwig Hand in Hand. Kurz nach dem Krieg, mit unternehmerischem und völkerverständigendem Impetus, war ihnen klar, dass die öffentliche Hand erlittene Verluste weder intellektuell und ideell, noch ökonomisch alleine würde ausgleichen können. Ab 1957 wurde daraus ein selbst gestellter Auftrag im öffentlichen Interesse. Mit Leihgaben an das Suermondt-Museum in Aachen und das Schnütgen Museum in Köln entwickelte man die Idee durch Sammeln „Informationslücken zu schliessen“ und etablierte die Zusammenarbeit zwischen öffentlicher Trägerschaft und Privateigentum. Zur unabhängigen Erforschung und Präsentation übergaben sie nach und nach die Sammlung der Öffentlichkeit.