你的理解是按汉语意思来的，不合适。

在你的英语句子中：

主语：I

谓语：come

目的状语：specially to see you.

在用作目的状语的不定式中，you 用作动词 see 的宾语。

也就是说：这个 you 是用作宾语，但它是在不定式中用作宾语，而不是用作谓语动词的宾语。

对追问的补充回答：

▲首先我想问，主语是I，谓语是come，宾语是不是省略了？

答：不存在宾语省略的问题，因为 come 是不及物动词，不可能接宾语。

I come specially to see you.

字面意思是：我来这里就是为了看你。

通俗地说是：我专门来看你。

▲如果不省略的话是否是我特别去XX地看某人中的这个“XX地”？

答：可以在 came 后面补上地点，比如：

I come here specially to see you. 我来这里是专门来看你。

I come to Shanghai specially to see you. 我来上海是专门来看你。

▲您说的“you是在不定式中作宾语而不是在谓语动词中作宾语”，我想问，这句话的意思是您打的一个比方，还是you在上面这个句子中确实是作的宾语？

答：我不是打比方，我是说这个 you 确实是用作宾语，但它是用作动词 see 的宾语，而不是 come 的宾语。