Моуз Эллисон родился 11-ого ноября 1927-ого года в местечке Tallahatchie Country, что располагается в дельте реки Миссисипи. Ранние годы музыкант провел на ферме своего дедушки, близко от деревеньки Типпо. Впервые Эллисон продемонстрировал любовь к музыке в пять лет – когда попытался сам освоить игру на пианино. Вскоре Моуз стал заниматься музыкой под руководством опытных наставников. По прошествии некоторого времени музыкант увлекся джазом, что в будущем и стало его страстью - на всю жизнь.