Mas o início no pugilismo só viria mais tarde. Logo aos 14 anos, o então jovem Adilson foi para São Paulo para ser ajudante de pedreiro. A vida na capital paulista trouxe muitas dificuldades, inclusive a fome.