Hardly a day goes by that (when) I don't think of him.

该句有点特别：1. 主句没有倒装；2. 定语从句和先行词 a day ，被谓语动词分隔。不过，这句话应该是正确的句子。

在现代英语中，that 是一个多功能词，也可以用作关系副词引导定语从句，修饰表示时间（time）、地点（place）、原因（reason）、方式（way）的先行词。that作关系副词时，相当于when, where, why, in which（分别对应前面的四个先行词），而且一般可以省略。

    (1) 表示时间时，that相当于when或介词+which，可省略。

    I still remember the time (that/when/in which) I helped my father on the farm. 我仍然记得在农场里帮助我爸爸的岁月。

    (2) 表示地点时，that相当于where或介词+which，可省略。

    I have never been to the place (that/where/in which) the Indians live.

    我从未到过那些印第安人居住的地方。

    (3)表示原因时，that相当于why或for which，可省略。

    The reason (that/why/for which）he lost his life was lack of medical care.

    他的死是由于缺乏医疗造成的。

   (4)表示方式时，that相当于in which，可省略。

    Can you work out a way (that/in which) we can solve this problem？

   你能找出一种我们能够解决这个问题的方法吗？

【注】最后这句子，不能用 how 引导定语从句。注意：how 从来不引导定语从句！