这个句子中being your age为动名词短语作真正主语。是不能用to be替换的。不定式表示不确定的动作或者谓语时间之后的动作。动名词则可以表示与谓语时间同时的动作或状态。本句的听话人当前就处于your age这个状态，所以要用动名词结构作主语，表示当前的状态。

比较下句：

I hate to live with him. 所以说话时并没有和他住在一起。不愿意和他住一起。

I hate living with him. 说话时就和他住在一起。