殊与柳亚子同住在上海时，柳子无忌已六岁了，曼殊总将他当成女孩子，有时还将他的名字改作无垢。他曾送给柳无忌一套风景画片，上书“无垢女公子收入”，又曾送给柳无忌绢花两朵，附信中写道“无忌女公子哂存”。一直到1917年柳无忌11岁时，曼殊才承认他是个男孩子。柳亚子的次女出生后，柳亚子为之取名无垢，以此纪念曼殊。
苏曼殊爱打麻将，周南陔记载：“曼殊在青岛时，日与觉生之夫人，日人萱野长知之夫人，及予，以赌麻雀为戏。席地而坐，予极苦之。而彼等悉乐此不疲，日日迫予为此。予每见居公长女公子来呼，及彼等来呼，辄谓宣布死刑云。久之，此语流传甚广，传为成语，咸谓麻雀戏为宣布死刑也。顾曼殊虽好此，而技甚劣，每赌必输。惟百事均可懒，?而闻赌即踊跃矣。”陆灵素也记载，民国元年，曼殊到访，吃罢八宝饭，兴致颇高，邀请他们作“意钱之戏”，陆推说不会，不能成局，曼殊“颇怏怏也”。
在杭州白云庵居住时，苏曼殊曾自述一联：“小窗容我静，大地任人忙。”据郑逸梅记载，后来有人在普陀普济寺看到曼殊为该寺写的巨幅对联云：“乾坤容我静，名利任人忙。”