你的问题与前面 aim to do sth 中的不定式作什么成分的分析完全一样,即取决于 fail 是及物动词还是不及物动词:如果 fail 是及物动词,则其后的不定式是宾语;若 fail 是不及物动词,则其后的不定式就是状语。
查词典,不同的词典对于 fail 到底是及物动词还是不及物动词,看法不一。比如《韦氏高阶英汉双解词典》认为 fail 后面接不定式时,不定式是 object(宾语):

但是《朗文当代英语词典》则认为 fail 后面接不定式时,fail 是不及物动词,按此理解,则后面的不定式只能是状语:
