Had I really heard a noise, or was I just imagining things? 我是真的听到了声音，还是只是我的幻想？

【参考解析】

这句话的意思是在表示某种“困惑 / 疑惑 / 不解 / 惊讶”：（当时）我究竟是真的听到了什么，还是只是自己的幻觉在作怪呢？

你的疑问是有道理的。过去完成时有时并不表示“过去的过去”,而是代替一般过去时强调一个过去“不同寻常/ 出人意料”的动作，同时伴随着说话者的“惊讶/ 疑惑”的情绪。

咱们看一下张道真《英语语法大全》765 6一节的描述及例句：

用来代替一般过去时，表示惊奇（参阅747节）：

I saw her from afar. In a minute, however, she had disappeared. 我从远处明明看到了她，可是一眨眼功夫她就不见了踪影。（说明：原文没有翻译，本句及以下例句译文均为本人拙译。）

When he said this, his enemy had come up to him. 他说完这话，敌人已是来到眼前。（敌人的速度太快了，出人意料。）

It was kept secret, but two days afterwards everyone had talked about it. 这本是秘密，可两天后竟然成了众人的谈资。