Né en 1942 en Floride, Charles Tolliver débute sa carrière de trompettiste de jazz en 1964, sous l'impulsion de Jackie McLean. Il abandonne ses études de pharmacie et se consacre à la musique.