Podle deníku The New York Times se Carter narodil jako John Everett Decoste v italské čtvrti Brooklynu v New Yorku. Jeho nejlepším přítelem v dětství byl Cecil Taylor, který se později stal jednou z největších osobností jazzu.
S herectvím se seznámil už jako dítě a svou první divadelní roli si zahrál v pouhých devíti letech. Poté začal studovat práva, ale studia nedokončil. Potkal herce Howarda da Silvu a rozhodl se pro hereckou kariéru.
„Byl to Howard, kdo mě přesvědčil, abych se stal hercem, kdo mi změnil život,“ řekl Carter v rozhovoru v roce 2018 a dodal: „Byl to Howard, kdo mě přesvědčil, abych se stal hercem: „Přerušil jsem studium práv a začal studovat Howardovu hereckou školu.
Velkého úspěchu se dočkal v 70. letech, kdy se objevil v seriálech McCloud a Battlestar Galactica. V epizodních rolích si zahrál v seriálech The Fall Guy nebo Boj o čas. Naposledy se objevil v akčním thrilleru Hamilton: V zájmu státu z roku 2010.