后，一直想找陈操之相谈，得知陈操之为瓦官寺作画，而谢府也未邀请京中世家子弟参加三月十四的雅集，看来是真如祝英台所说，只有挫败他祝英台才能娶谢道韫了，在袁通看来，娶不娶谢道韫尚在其次，这个狂妄的次等士族子弟祝英台必须教训，万一谢万石昏庸，真把谢道韫许配给祝英台，那简直就是羞辱他们这些曾经向谢氏求婚的子弟，所以他与诸葛曾暂释前嫌、同仇敌忾，知佛诞将近，陈操之的壁画也该画完了，便相约来访陈操之，提出请陈操之与祝英台辩难，只要赢了祝英台，袁通和诸葛曾就各出五铢钱三十万，合计六十万钱赠与陈操之——
建康赌风极盛，樗蒲、双陆、摊钱，好赌者趋之若鹜，史载桓温少年家贫，却又好赌，赌术不精，负债累累，债主逼债，无处藏身，便求救于以善赌闻名的袁耽袁彦道，袁耽当时还在缌麻服丧，当即脱去丧服，换上便衣就和桓温去了，债主不识袁耽，就局共戏，袁耽投马绝叫，旁若无人，直上百万钱，大获全胜，探布帽掷债主前曰：“汝竟识袁彦道否！”
这个袁耽便是袁曾之父，袁曾亦好赌，是以与诸葛曾共出赌资六十万钱请陈操之与祝英台辩难。