Wardell Gray nació en Oklahoma City, el menor de cuatro hermanos. Pasó los primeros años de su infancia en Oklahoma, antes de trasladarse con su familia a Detroit en 1929.

A principios de 1935, Gray empezó a asistir al instituto Northeastern High School, y luego se trasladó al instituto Cass Technical High School, que destaca por tener como antiguos alumnos a Donald Byrd, Lucky Thompson y Al McKibbon.