Má dva slavné syny - herce Ivana Trojana a režiséra a producenta Ondřeje Trojana. Několikrát spolu bratři spojili umělecké síly. Sám Ladislav má několik let spokojené manželství. Nicméně jeho první lásky mu dávaly celkem zabrat. Olga Šplíchalová, dnes spíš známá jako Havlová, se kterou randil a chodil rád do kavárny Slavia, na onom místě seznámila se svým pozdějším manželem Václavem Havlem. Jana Brejchová mu zlomila srdce, když mu utekla za režisérem Milošem Formanem.