如果这个句子是强调句，则必须用that。用when为语法错误。

I first visited this city in 1952.

It was in 1952 that I visited this city. 我第一次访问该市是在1952年。

如果是讲故事时交代故事发生的时间背景，则用when引导非限制性定语从句，不能用that。

It was in 1952, when I first visited this city. 故事发生在1952年，那年我第一次访问该市。