小叶黄杨是常绿灌木，高2m。茎枝四楞，光滑，密集，小枝节间长3~5mm。叶小，对生，革质，椭圆形或倒卵形，长1~2cm，先端圆钝，有时微凹，基部楔形，最宽处在中部或中部以上有短柄，表面暗绿色，背面黄绿，表面有柔毛，背面无毛，二面均光亮。花多在枝顶簇生雄花具与萼片等长的退化雄蕊，花淡黄绿色，没有花瓣，有香气。