От публикувани преди писма на откривателя на Теорията на относителността беше известно, че първият му брак с Милева Марич, майка на двамата му сина, е бил неуспешен. Те се развеждат през 1919 г. и Айнщайн скоро след това се оженва за далечната си братовчедка Елза. В началото на 80-те години дъщерята на Елза, Марго, предава около 1400 писма на Айнщайн на Еврейския университет в Ерусалим, за чието основаване той е помогнал. Желанието на Марго е било тези писма да не бъдат публикувани, докато не изминат 20 години от смъртта й. Тя умира на 8 юли 1986 г. Някои от жените, за които разказва Айнщайн в писмата си, са наречени с имената им: Естела, Етел, Тони, Маргарита. Други са обозначени само с инициали: М и Л. През 1931-ва година той пише на Марго: "Вярно е, че М. ме последва и ухажванията й излизат от контрол". А по-нататък споменава: "От всички дами, съм привързан само към г-жа Л., която е абсолютно безобидна и благоприлична". През 30-те години Айнщайн живее в Оксфорд, където намира убежище от нацистите.
В едно от писмата си до Елза той споменава, че немски колега го е посъветвал да не се доближава до германската граница, защото яростта срещу него е извън контрол. В същото писмо от 1933 година Айнщайн пише: "Хората навсякъде се страхуват от съперничеството на интелигентните изгнаници евреи. Може би ние сме повече обременени от силата си, отколкото от слабостта си."
