Когато е на 5 години, неговият баща му подарява компас. Алберт е дълбоко впечатлен и по-късно признава, че може би в този момент е осъзнал влечението си към науката и техниката. Обича да строи, включително огромни кули от карти за игра. На десетгодишна възраст започва да чете "Елементите" на Евклид и "Критика на чистия разум" на Кант. Тези и други научно-популярни книги формират неговия мироглед, показват увлечението му по математиката, пораждат недоверие към авторитетите и го научават да говори това, което мисли. По настояване на майка си започва уроци по цигулка, въпреки че това занимание не е особено по вкуса му. След известно време изоставя свиренето. Едва в зряла възраст се връща отново към цигулката. Един от любимите му композитори е Моцарт. На 12 години започва да изучава самостоятелно математика, интересува се дори от интегрално и диференциално смятане.
Тираничното отношение на учителите към учениците, подтискането на творческото мислене, зубраческата система, закостенялото и консервативно обучение по принцип създават много неприятно чувство у Айнщайн и той непрекъснато влиза в спорове със своите преподаватели. Поради това те го считат за безперспективен ученик.