Родился 20 июля 1938 года в Ленинграде.
С детства хотел быть врачом, готовился к этому всерьёз: ходил в анатомичку со студентами мединститута и собрал целую библиотеку книг по медицине. В пользу режиссуры его с трудом склонил отец - известный писатель Юрий Герман.
В 1960 окончил ЛГИТМиК - режиссёрский факультет (мастерская Г. Козинцева)(руководитель курса - А.А.Музиль).
Был на курсе самым младшим, и, как выяснилось после первой сессии - самым талантливым учеником.
Работал в Смоленском драмтеатре,
Ленинградском Большом Драматическом театре (1961-1964).
Над сценариями к своим фильмам работает вместе с женой - Светланой Кармалитой. Когда Герману запретили работать после картины "Мой друг Иван Лапшин", они писали сценарии вместе, чтобы как-то прокормиться, и выпускали их под именем Светланы Кармалиты.
В конце 80-х годов его настойчиво звали в Голливуд, предлагали коммерческие завлекательные проекты, но он вернулся в нищий Петербург, на умирающий тогда "Ленфильм" и начал снимать фильм "Хрусталёв, машину!"
В 1990 организовал СПиЭФ (Студия первого и экспериментального фильма) и является художественным руководителем студии. На этой студии снимали свои первые картины молодые режиссёры, которые приехали из разных городов России, например, Алексей Балабанов, Лидия Боброва.
Преподавал на Высших курсах сценаристов и режиссёров, где у него учились режиссёр Мурадов( картина "Змей"), режиссёр Слахутдинов (фильм "Кружение в пределах кольцевой") и др.
Заслуженный деятель искусств РСФСР (1988).
Народный артист РСФСР.