John Wheeler studeerde af aan de University of the Pacific in Stockton, Californië, met een bachelordiploma in muziek. Als zanger en karakteracteur was hij vooral bekend van televisie, met gastrollen in series als The Odd Couple, Green Acres, The Brady Bunch en Star Trek (als de Tellariet Gav in de aflevering 'Journey to Babel'). Hij zong bij de City Center Opera in New York en trad op in producties als Rodgers & Hammersteins 'Carousel' en Bernstein, Comden en Greens 'Wonderful Town' op de Wereldtentoonstelling van 1958 in Brussel, waarbij hij zijn rol in dat laatste stuk herhaalde in de televisiepremière datzelfde jaar. Op Broadway speelde hij in onder meer 'The Happiest Girl in the World', 'Kean', 'Cafe Crown', 'I Had a Ball' en 'Sweet Charity' (als 'Herman', de eigenaar van een danshal, een rol die in de filmversie door Stubby Kaye werd gespeeld; Wheeler had een kleinere rol in de film). Hij bleef actief tot in de jaren 90.
