Sergej Filippov werd geboren in Saratov in een arbeidersgezin. Zijn vader was slotenmaker en zijn moeder naaister. Op school was hij geen goede leerling en in de bovenbouw stond hij bekend als een vechtersbaas. Tijdens een scheikundeles zonder leraar mengde hij zoutzuur met ijzervijlsel en voegde enkele reagentia toe, wat een vreselijke stank veroorzaakte die de school vulde. De lessen werden verstoord en Filippov werd van school gestuurd. Hierna ging hij werken als leerling-bakker, maar dit interesseerde hem niet. Na verschillende banen te hebben geprobeerd, belandde hij in een balletschool. Hij bleek zo getalenteerd dat hij al snel als de beste student werd beschouwd. In 1929 reisde hij naar Moskou om auditie te doen voor de balletschool van het Bolsjojtheater, maar de examens waren al voorbij. Op advies ging hij naar Leningrad, maar ook daar was hij te laat. Hij schreef zich in bij een nieuw geopend circus- en variétécollege, waar hij werd aangenomen. Na zijn afstuderen in 1933 werd hij lid van het gezelschap van het Opera- en Ballettheater. Zijn carrière als balletdanser was kort: tijdens een voorstelling kreeg hij een hartaanval en moest stoppen. Hij ging naar een theaterstudio voor variété en trad veel op in Leningrad. Daar werd hij opgemerkt door Nikolaj Akimov, die hem naar het Komedietheater haalde. Van 1935 tot 1965 was hij acteur bij het Leningrad Komedietheater, daarna bij de filmstudio Lenfilm. Hij werd beroemd met rollen in films als 'Tijger Temmer' (1954), 'Carnavalsnacht' (1956), 'Meisje zonder Adres' (1957), '12 Stoelen' (1971) en 'Ivan Vasilievich Verandert van Beroep' (1973). Filippov was een meester in zowel grote als kleine rollen. In de jaren 1940-1960 was hij populair in Leningrad en andere grote steden. In 1965 werd een hersentumor bij hem ontdekt. Voor de opnames van '12 Stoelen' in 1971 had hij hevige hoofdpijn door hersenkanker, maar hij drong erop aan de rol van Kisa te spelen. Rostislav Plyatt stond de rol aan hem af. Na de film herstelde hij verrassend genoeg en leefde nog 20 jaar, met zijn laatste rol ook bij Leonid Gaidai. Hij werd begraven op de Noordelijke Begraafplaats naast Antonina Golubeva. De gilde van filmacteurs in Sint-Petersburg plaatste een buste op zijn graf. Kort voor zijn dood vertelde hij een vriendin: 'Weet je, mijn hele leven wilde ik een positieve tragische rol spelen, maar ik kreeg alleen maar nare types.'
