only+状语前置（所谓前置指本来不属于主语前位置的词项移至主语前位置）以及具有否定意义的词项前置，导致部分倒装（操作词移至主语前）。如果only或否定词本身就是主语或主语的一部分，就没有发生前置，因此就不倒装。你的（或有的书）理解是有误的。应该纠正。即:不是有关词项位于句首引起倒装，而是这些词项前置才引起倒装。

Only yesteray did I see him.  only+状语前置，导致部分倒装。

Only few people came to the party. only为主语的一部分，没有前置，不倒装。

Never have I seen it before.  否定副词前置，导致部分倒装。

No one believed him.   否定词为主语，没有前置，不倒装。

What did he say?   疑问词前置，导致部分倒装。

Who said this?  疑问词为主语，没有前置，不倒装。