Life is too short to spend all our time working.

应该是第一种理解（可视为在不定式前省略了 for us, for people之类的结构）：

生命太短暂，不能把我们所有的时间都花在工作上。

人生苦短，何必把所有的时间都花在工作上。（即应该学会享受生活）

又如：

Life’s too short to bear grudges. 人生苦短，何必心存怨恨。

Life’s too short to worry about money! 人生短暂，何必为金钱而烦恼！

Life’s too short to sit around moping. 人生很短，不能整天坐在那儿自寻烦闷。