Nikolaï Rybnikov est né à Borissoglebsk, dans la région de Voronej. Son père, l’acteur Nikolaï Rybnikov, était artiste émérite de Russie (1937) et a joué notamment au Théâtre Maly à Moscou. Rybnikov a passé sa jeunesse à Stalingrad, où il jouait beaucoup dans les théâtres amateurs, et il a étudié pendant un an à l’Institut de médicine. En 1948 Rybnikov est venu à Moscou et a commencé ses études d’acteur au VGIK (Institut national de la cinématographie), dans la classe de Sergueï Guerassimov et Tamara Makarova. Son premier succès au cinéma fut le rôle d’un « méchant » dans le film Jeunesse turbulente (1954). Mais presque en même temps Rybnikov a réussi à créer, dans le film Parenté étrangère, une image complètement différente de jeune tractoriste, Fedor Soloveïkov, héros positif, incarnant le renouvellement dans le milieu rural.
L’acteur est devenu célèbre avec la sortie des films Le Printemps dans la rue Zaretchnaïa (1956) et La Hauteur (1957), deux succès populaires dans lesquels Rybnikov a joué les jeunes ouvriers à la recherche de leur identité et du bonheur personnel. Ces films ont conduit à d’autres propositions de rôles, car les histoires qui se situaient dans le milieu industriel avec des héros ouvriers étaient très populaires dans les années 60. Rybnikov avait beaucoup de mal à sortir de ce créneau qui l’a rendu très populaire mais qui en même temps l’empêchait de montrer ses autres facettes d’acteur.
Très bon chanteur il a interprété avec beaucoup de succès plusieurs chansons de films. Son mariage avec une autre star du cinéma soviétique, l’actrice Alla Larionova, a fait de ces deux acteurs un des couples mythiques du cinéma soviétique.
Avec le temps les rôles principaux sont devenus plus rares, Rybnikov a été engagé plutôt pour des rôles épisodiques. Un de ses dernier succès fut le rôle du voisin dans le film Epouser un capitaine (1985) dans lequel il a montré pleinement son talent comique.
