1. nevertheless 是个副词，意思是“虽然如此，然而”，它可用于句首、句中或句末。用于句首时，其后通常有（但不是必须有）一个逗号。

Nevertheless, she decided to act. 尽管如此，她仍决定采取行动。

Though very intelligent, she is nevertheless rather modest. 她很聪明，倒也很谦虚。

另外还有一个重要用法，就是用于两个分句之间，起连接副词的作用，此时其前通常用分号，其后可用逗号，也可省略。如：

He met with difficulties; nevertheless he went on working. 他遇到了困难，但他还是继续干了下去。

当然，如果两句在意思上独立性较强，也可将Nevertheless前的分号改为句号，正如你的句子：

He is always chin-deep in debt. Nevertheless, he is always jolly.

2. in the meanwhile 其实是个介词短语，起副词作用，相当于用作副词的 meanwhile（与此同时，在此期间）。不管是介词短语 in the meanwhile 还是副词 meanwhile，尽管它们在用于两个句子之间时具有连词的意味，但由于它们仍是副词（或只是起副词作用），所以通常都要在其前用分号或句号（当然也可以不用标点而在其前使用并列连词and等）。如：

They’ll be here in ten minutes. Meanwhile [In the Meanwhile], we’ll have some coffee. 他们10分钟后到这儿，现在我们先喝点儿咖啡。

Jane was painting the wall and in the meanwhile [meanwhile] Pat was watching TV. 简在油漆墙壁，而在此同时帕特在看电视。

所以你的第二个句子，严格说来是不规范的（属于人们常说的“逗号句”），应作如下改动：

They reported the loss to the police; in the meanwhile, they give all the necessary evidence.

They reported the loss to the police. In the meanwhile, they give all the necessary evidence.

They reported the loss to the police and in the meanwhile they give all the necessary evidence.

注：在现代英语中，“逗号句”也时常可见，但对于初学者来说，还是慎用为宜，有关“逗号句”的更多说明，陈根花老师曾在语法网发过一篇很好的文章，可以参考一下，见： http://www.yygrammar.com/Article/201311/3526.html