He went off with $10000 of the company's money.

go off， 副词 off 表示“离开；远离（某地）”。这里地点是隐形的无须说出。with 表示“携带；带着”，with sth. 是“方式状语”。

“他携带公司的一万美元离去。” （可能捐款而逃了）。

其实，with 这个用法很简单，这种搭配无需死记硬背。我再举一个类似的例子：

She went home with a basket of vegetables. 她带着一篮子蔬菜回家了。

with a basket of vegetables 是 went home 的“方式状语”。回家的方式有很多：带着东西回家；空手回家；打车回家；步行回家——这些都是“方式”，不是“伴随状语”。伴随是指其中一个次要动作，伴着另外一个动作发生，这才叫伴随。一般由非谓语动词充当。