赞同刘老师的解答。我再补充几句我的理解。

首先这位同学能觉得这三个句子都别扭，说明你有一些基本语感。我想这个句子即使没有yesterday，本身也有逻辑错误。Going into the room，he shut the door. 你读这个句子后有什么感觉呢？我觉得读完一个句子应该在脑子里浮现出这种场景，否则等于没完全看懂。我想我们看中文也是一个道理。Going 是现在分词，一般应该表示和主句谓语shut同时发生的动作, 你觉得这样用符合逻辑吗？也就是说一个人进屋的时候能同时关门吗？那你还怎么进去？会不会把头挤扁啊？我再给你举个例子，He went home, carrying a basket of eggs. 这句话读完了，你应该浮现出他在回家的路上手里拿着一篮子鸡蛋的场景，所以这是合乎逻辑的。有了这样的语感，你再看你的那三句话，yesterday 放哪里都是错的，因为句子主干就不符合逻辑。所以，准确的说法，除了刘老师写的例句外，还可以这样改：Yesterday, having entered或after entering/going into the room, he shut the door.  Yesterday不能放在room后，不符合惯用，因为它只能做状语修饰全句。这种having 结构，即使yesterday放句尾也不地道。如果是after entering /going into the room或比如用and连接的并列句的结构，可以把yesterday放在主句句尾。另外，Having gone的结构中，和主句shut 连用，最好改用entered, 避开使用gone into. 用on/upon entering the room 也可以，但不要用on/upon going into the room.  这仅是我的个人使用习惯和语感。因为having gone into the room, 这种结构多用于进入房间之后已经走了一段距离。如果再shut的door,  不合逻辑，你胳膊难道有几米长啊。 on/upon 的用法比较正式，所以用entering替代going into从文体看更合拍。不过这只是我个人的语感和使用习惯，大家不妨可以查一查依据。如果我说的不对，可以忽略或纠正。