wrong这个词描述人时多指人的道德层面(牛津第5项对wrong的释义)
如It was wrong of you to take advantage of me last night.
It is wrong to tell lies. 说谎是不对的(还是指人的道德层面)
所以楼主的例句若没有更多背景的话,我认为改为wrong for you为佳。因为只是单纯地说正确还是错误。没有涉及道德层面。
但是假若整个语境是别人都在不顾风雨做好事,你却躲在树下,那么用of是正确的。只是从科学角度讲,躲在树下是不可取的。