John Randall a obtenu ses diplômes de l'Université d'État de Louisiane (LSU) et de la faculté de droit de l'Université Tulane. Il a fait carrière comme avocat pour l'État de Louisiane avant de prendre sa retraite. Il était membre du barreau de Louisiane et diacre à l'église baptiste de St. Charles Avenue à La Nouvelle-Orléans. Pendant la Seconde Guerre mondiale, il a servi comme capitaine dans la 88e division « Blue Devils » en Italie. Auparavant, il avait également été engagé dans la marine marchande.