I was lucky because that was the second time I (had) visited Japan that year. 我很幸运，那是我那年第二次访问日本。 

——本句用一般过去时visited，可能受 that year 的影响。正常情况下使用过去完成时，体现“过去的过去”。

It was the first time this year that he hadn’t [hasn’t] worked on a Saturday. 这是今年来他第一次在星期六不上班。 

——本句用现在完成时 hasn't worked，可能受 this year 的影响。正常情况下使用过去完成时，体现“过去的过去”。

关于定语从句能否使用 when 引导，我认为最好使用 that。这些时间名词如 the first time/day/week/month/year 以及 the moment, the minute 为先行词时，原则使用that，不用 when。这些词语时间概念明确，即便用 that，也知道是指时间。