Образ шарманщика — бездомного нищего бродяги — глубоко символичен. Он олицетворяет судьбу артиста, художника, самого Шуберта. Не случайно в конце песни в прямой авторской речи звучит вопрос, обращенный в нищему музыканту: «Хочешь, будем вместе горе мы терпеть, хочешь, будем песни под шарманку петь». В простоте и лаконизме скупо отобранных приемов — сила их выразительности и производимого впечатления, выдержанная тоническая квинта в басу — гармония простого народного инструмента: волынки, лиры, шарманки — сковывает все движение песни. 

Едва уловимые изменения рисунка мелодии не затрагивают ее существа. Щемящей тоской веет от той безжизненности, механистичности, с какой чередуются фразы монотонного напева голоса и инструментального наигрыша. Только когда описание судьбы обездоленного музыканта переходит в прямую авторскую речь: «Хочешь, будем вместе горе мы терпеть», вскрывается подлинный драматический смысл песни. С экспрессией трагической декламации звучат последние фразы «Шарманщика».