本该做某事而未做，“该”的语义来自于情态动词should。should have done表示这层意思。但would并没有表示责任、义务的意义，所以你不该误解句义。

这是一个否定转移的句子，即从句本身是个否定句，not转移到主句了。即从句本来是：

you wouldn't have taken advantage of...这种动词形式是说话人对过去情况所做的推测，即你不会占...的便宜。如果说话人不是推测，而是直接表述他认为的事实，则句子为：

I didn't think you had taken advantage of...。