Εξηγεί ότι ήταν το μικρότερο από τέσσερα παιδιά που γεννήθηκαν μέσα σε πέντε χρόνια και ότι πέρασε αμέτρητες ώρες σε κινηματογραφικά πλατό, ακολουθώντας τις αδελφές της, Μέρι-Κέιτ και Άσλεϊ Όλσεν. Το πλαίσιο αυτό, όπως λέει, απέχει πολύ από την καθημερινότητα ενός «συνηθισμένου» παιδιού στο Λος Άντζελες.

Η ηθοποιός παραδέχεται ότι στερήθηκε τη ρουτίνα και την ασφάλεια απλών οικογενειακών συνηθειών: «Σήμερα, το να σκέφτομαι μια ήρεμη ώρα για μπάνιο και μια ιστορία πριν τον ύπνο, μου φαίνεται τόσο τρυφερό και όμορφο, γιατί εμείς δεν είχαμε κάτι τέτοιο». Αναφέρει πως πλέον απολαμβάνει τον ρόλο της θείας και φίλης. «Μου αρέσει να είμαι η φίλη ή η θεία που έρχεται και βοηθάει την ώρα του ύπνου». Θυμάται επίσης πως για χρόνια οι αδελφές της παρακολουθούσαν όλες τις θεατρικές και χορευτικές της εμφανίσεις και, όταν την ρώτησαν αν της είχαν δώσει ποτέ επαγγελματικές συμβουλές, απάντησε: «Όχι. Είμαστε απλώς μια υποστηρικτική οικογένεια». «Μετά από 15 χρόνια δουλειάς, μου φαίνεται άνευ σημασίας να μιλάω για αυτό», πρόσθεσε.

Η Elizabeth Olsen είναι κόρη των Jarnette και David Olsen και μεγάλωσε μαζί με τις δίδυμες αδελφές και τον αδελφό James Trent. Οι γονείς τους έχουν πλέον χωρίσει και ο πατέρας έχει αποκτήσει άλλα δύο παιδιά από τον δεύτερο γάμο του. Η ίδια παντρεύτηκε τον Robbie Arnett το 2019 και είναι θεία του γιου της Άσλεϊ, Otto, τον οποίο εκείνη απέκτησε με τον Louis Eisner το 2023. Παρά τις ιδιαιτερότητες της ανατροφής, η Όλσεν έχει δηλώσει ότι «Το λάτρεψα, ειδικά το ότι ήμουν το μωρό της οικογένειας», δείχνοντας μια νοσταλγική αποδοχή της παιδικής της εμπειρίας.