有记忆。

原文：他是被拐子打怕了的，万不敢说，只说拐子系他亲爹，因无钱偿债，故卖他。我又哄之再四，他又哭了，只说‘我不记得小时之事！’这可无疑了。可见，香菱记得小时的事，但被打怕了，只说“不记得”。