Ole Sommer søsatte helt tilbage i 1959 sin drøm om at skabe et automobil museum med købet af sin første historiske bil. I den efterfølgende årrække blev de første biler udlånt til forskellige danske museer. I 1980 blev de samlet over bilforretningen i Nærum. I 2004 flyttede Sommer’s Automobile Museum ind i den nybyggede 3-etages, ideelle museums bygning, Nærum Hovedgade 3.
Ole Sommer havde siden 1960 et lykkeligt ægteskab med sin schweiziske hustru som resulterede i 4 børn og 11 børnebørn. Dette dannede siden basis for et otium som aktiv museumsbestyrer og automobilhistoriker indtil hans bortgang den 24. juli 2018.