▲是的，你的句子只有第1句和第4句是对的，第2句和第3句是错的：

1. In a sense, Chinese is a very old language, and its earliest characters date back nearly four thousand years.（正）

2. In a sense, Chinese is a very old language, and its earliest characters dating back nearly four thousand years.（误）

3. In a sense, Chinese is a very old language, with its earliest characters date back to nearly four thousand years ago.（误）

4. In a sense, Chinese is a very old language, with its earliest characters dating back to nearly four thousand years ago. （正）

▲错句分析：

第2句的错因是：句中用了并列连词，但 and 后面的分句只有非谓语动词 dating，而没有谓语动词；

第3句的错因是：句中的 with 复合结构本该用非谓语动词 dating，而错用了动词原形。

▲正句分析：

表示“可迫溯到……”“自……时代就开始有”，英语通常是用 date back to，所以你的第4句是对的。又如：

The castle dates back to the Ancient Rome days. 此城堡建于古罗马时代。

Her problems date back to her childhood. 她的这些问题小时候就有了。

The castle dates back to the 14th century. 这座城堡是14世纪修建的。

The custom dates back to the Victoria era. 这种习俗始于维多利亚时代。

但有时也可以直接用 date back（没有to），表示“已存在多久”，其后通常接一段时间（这就是你第1句正确的依据）。如：

 The custom dates back hundreds of years. 这一习俗可以追溯到几百年前。

▲补充说明：

表示回溯到过去某时，除用 date back to 外，也可用 date from，尽管其后接的是过去时间，但用作谓语的 date 却通常要用一般现在时，而不用一般过去时，除非所谈论的主体现在已不复存在：

The church, which dated back to the 13th century, was destroyed in an earthquake two years ago. 那座教堂是13世纪建成的，两年前在一次地震中被毁了。

当然，因句式语法的需要，也可以用非谓语形式，如你的第4句就用了ing分词，另举一例不定式的句子：

The temple is presumed to date back to the first century BC. 据推测这座寺庙建于公元前一世纪。