Sve je verovatno i počelo načinom na koji je odrastao, budući da je od svoje četvrte godine bio u bordelu, a uskoro je krenuo i sam da radi kako bi zaradio neki novac, pa je na početku čistio cipele ljudima na ulici. Nakon toga, polako se uvlačio u sitne kriminalne radnje, pa je kao dete počeo da krade od prolaznika, da se bavi džeparenjem i nekim sitnijim prevarama, koje su ga vukle u sve dublji kriminal, pa je sa svega 16 godina dospeo i do maloletničkog zatvora i to zbog oružane pljačke i krađe automobila.
Kao što to inače bude u velikim, zanimljivim pričama, baš u zatvoru kreće veliki preokret u Braunovom životu. Tamo je počeo da se bavi sportom i bejzbolom najviše, pa je na jednoj utakmici učestvovao i tako što je svirao usnu harmoniku i pevao je, šta je primetio Bobi Bird koji je prepoznao njegov talenat pa je uticao na to da mu se kazna smanji i da što pre izađe iz zatvora. Jedna povreda noge odvratila ga je od sporta, zbog čega se u potpunosti okrenuo muzici i našao profesiju u kojoj se potpuno pronašao, profesiji koja ga je učinila svetski popularnim. Bend sa kojim je krenuo da radi polako se pomerao od gospela ka du-vap stilu, a ime Famous Flames je postajalo sve poznatije.
Šezdesete godine prošlog veka bile su presudne. Bend je radio veoma dobro, ali se Džejms Braun izdvajao sve više kao individua i iz dana u dan je postajao sve prepoznatljiviji kao kralj soul-a kako su počeli i da ga nazivaju redovno. Ovo je vreme kada nastaju pesme, odnosno hitovi, It’s a man’s world, Papa’s got a brand new bag i drugi. Sve više je svojom popularnošću i ugledom koji je uživao u javnosti uspevao da utiče na to da nestaju rasne razlike, zbog čega je u jednom trenutku dobio i titulu najuposlenijeg ćoveka iz zabavne industrije.
