交响曲104遵循作曲家本人确立的交响曲的标准结构，由以下四个乐章组成：

第一乐章：柔板-快板（Adagio--Allegro），d小调--D大调

第二乐章：行板（Andante），G大调

第三乐章：含中段的小步舞曲：快板（Menuetto and trio：Allegro），D大调

第四乐章：终曲：有精神的（Finale：Spiritoso），D大调。

全曲用时约26-28分钟左右。