Grandpa slowly stood up. "Don't ever say goodbye, Billy. Don't ever give in to the sadness and the loneliness of that word. I want you to remember instead the joy and the happiness of those times when you first said hello to a friend. 

【翻译】爷爷慢慢地站了起来。“别说再见，比利。不要屈服于那句话表现出来的悲伤和孤独。相反，我希望你记住当你第一次向朋友问好时的快乐和幸福。

that word 可以是那个词，也可以是那句话。of that word 作定语，修饰the sadness and the loneliness 。意为“那句话表现出来的悲伤和孤独”。

those times 是那些时日/时候， of those times也是作定语，修饰the joy and the happiness，在those times 后面跟了一个定语从句：when you first said hello to a friend。

从翻译可以看出来，of 表示所属关系，不是“关于”。