in ways which...为介词短语作定语修饰a mapping operation， 表示方式。a mapping operation在此虽然是名词，但含有动作意义，故可以表示方式的介词短语作定语。我把句子稍微调整一下，意思基本不变，但你就能很容易看出in ways which的修饰关系了。

which permits mapping different aspects of the stage in relation to each other in ways which have more in common with graphical communication than with language. 

现在permits的宾语为动名词短语，different aspects of the stage in relation to each other为动名词的宾语，in ways which...为动名词的方式状语。

由于映射的方法不止一种，故用ways, 而不是 a way.

你对in ways which...这部分的理解错误。这部分意思为：通过一些更像绘画交流而不是语言交流的方式。这些映射方式更像绘画交流而不像语言交流。