《橄榄树》在音乐结构上是带再现的复三部曲式。

两头是完整的乐段，中间部分是歌曲的高潮所在：在全曲的最高音域唱出“为什么流浪远方?”这是流浪者内心痛苦的呼号，感人肺腑。《橄榄树》全曲的音域只有十二度，李泰祥用了极其精练的材料，表达了极其深刻的思想内容。