Le jeune Johannes Betzler, grand admirateur du Führer dont il s’est fait un ami imaginaire, appartient à la Hitlerjugend. Sa mère, du nom de Rosie, l’élève seule tout en menant des actions de résistance. Un jour, Jojo entend du bruit à l’étage. Il découvre avec stupéfaction que sa mère cache une jeune Juive du nom d’Elsa Korr. Quelque temps plus tard, Rosie, arrêtée par la Gestapo, est pendue en place publique. De cette situation découle le reste du film dans une oscillation entre guerre et liberté, humour et drame, innocence et endoctrinement.