不可以。这里的 To begin with 可视为习语，用作修饰句子（即句子状语），也有的语法著作分析为独立成分。又如：

To begin with, I do not like its colour. 首先，我不喜欢它的颜色。

We can’t go. To begin with, it’s too cold. Besides, we’ve no money. 我们不去了，首先是太冷了，另外我们又没有钱。

To begin with, John is too young for that kind of job. 首先，约翰干这种工作太年轻。

To begin with, it is too cold. Besides, we’ve no money. 首先，天气太冷，再者我们也没有钱。

类似地，以下句子中的不定式也是句子状语或独立成分，也不能改为现在分词：

To be honest, I don’t quite like the dish. 说老实话，我不太喜欢这个菜。

To be honest, I just don’t like him. 说老实话，我就是不喜欢他。

He’s a nice person, to be sure. 肯定他是一个好人。

To be frank with you, I like you, and should be glad to give you any help I can. 跟你坦率地讲，我喜欢你，愿意给你任何力所能及的帮助。

To be fair, he wasn’t entirely to blame. 说句公道话，这不能全怪他。

To be perfect frank, you’re a bad driver. 坦率地讲，你开车不行。

He is a nice person, to be sure. 他肯定无疑是个好人。

I’ve never met him, to tell you the truth. 说真的，我还从未见过他。

To cut a long story short, he beat them one by one. 长话短说，他把他们一个个地打败了。

To say the least, their techniques are old-fashioned. 说得再轻一点，他们的工艺至少太老了。

He is, so to speak, the brains of the organization. 他可说是这个机构的大脑。

To put it mildly, she’s just a bit inquisitive. 说得轻些，她只是有点爱打听。