As time went by we saw less and less of each other.

两个less 都是代词，表示量概念的的代词。从接 of each other 作定语、及物动词 saw 需要宾语的角度，即可判断是代词，不是副词。

我觉得，研究它的词性不是重点，而应该弄懂这个表达是怎么来的，意义是什么。我给讲一下：

我们说“经常见到某人”， 一般都是用 often see sb。 语言表达崇尚多样化，避免单调和老是那种口吻。所以，有人喜欢说 see much of sb。 这个 much 也是量概念的的代词，意味着“跟某人见面量大、次数多”，同样表达了 often see sb 的含义。例如：

I don't see much of him. 

我不大见到他。

来自《现代英汉综合大词典》

much 有比较级，因此就有了 see more of sb 和 see less of sb. 的说法。我们知道，两个比较级连用，表示“越来越...” 之意，例如： 

It's getting darker and darker outside. 

屋外天色变得越来越暗。

那么，saw less and less of each other 的意思是：彼此之间见面越来越少。

这个表达就是这样演变而来的。至此，网友应该全明白了。