Sheila comenzó a cantar desde muy joven en diferentes clubs de Detroit. Más tarde se convirtió en miembro del trío vocal Skeeter, Mitch and Jean.
A principios de los años 50 se instala en Nueva York y conoce al bajo Charles Mingus, y al batería Max Roach. Mingus le presentó al pianista Lennie Tristano con el que estudió durante tres años ayundadola a mejorar su fraseo escuchando a Parker y Lester Young tocar sus solos.
Se traslada a un loft en Manhattan, en la calle 26 que se convirtió en un lugar popular para jam sessions nocturnas. La vida era bella; ella salía con regularidad con Charlie Parker, yendo a sus conciertos y, a menudo Bird la presentaba como "la cantante con un oído de un millón de dólares " Bird, que también tenía las orejas de oro, apreciaba su sonido y estilo original cuando la escuchaba. Se casa con Duke Jordan el pianista de la orquesta de Charlie Parker, del que se separa después del nacimiento de su hija Traci y se divorcian en 1957.
A inicios de los años 60, Sheila Jordan realiza sus primeros discos, como The Outer View con George Russell que contiene una versión célebre de You Are My Sunshine. Luego canta a menudo en iglesias; participa en el grupo del trombonista Roswell Rudd, canta a dúo con Jeanne Lee y contribuye a la ópera jazz Escalator over the Hill de Carla Bley. A mediados de los años 70, canta regularmente con Roswell Rudd. En 1977 graba un álbum con Arild Andersen. A partir de 1978 se dedica en exclusiva a la música y comienza a trabajar en otros clubes de jazz de Nueva York como el Birdland, el Village Vanguard, y el Blue Note. Tiene una gran demanda de actuaciones en el circuito nacional e internacional de festivales. Ha actuado en festivales de jazz en Austria, Checoslovaquia, Inglaterra, Italia y Japón. En 1998 se integra con el trío de Steve Kuhn (con Steve Kuhn, David Finck y Billy Drummond) y participa también, en compañía de Theo Bleckmann, en el álbum dedicado al recuerdo de Charlie Parker y Miles Davis.
Jordan ha dirigido los talleres de jazz, a partir de 1978, en el City College de Nueva York, se ha ocupado con Jay Clayton de los programas del festival Jazz en julio en la Universidad de Massachusetts y ha dado cursos en la Universidad Stanford. Judi Silvano y Sabine Kühlich han sido algunas de sus alumnas.
En 1995 el cineasta Cade Bursell hizo un documental sobre Jordan titulado "Sheila Jordan: En la voz de una mujer". Su biografía, "Jazz Child: A Portrait of Sheila Jordan", escrita por la vocalista y educadora Ellen Johnson se ha publicado en 2014, coincidiendo con su 86 aniversario. En la actualidad ha grabado más de veinte discos como lider.
