殷正茂的回复则显得更为务实和深思：“夷情叵测，不可不防。然彼既以‘学问’为名，暂可羁縻。可许其在肇庆建一‘仙花寺’（实为传教所）居住，但严禁私传邪教，所著书、所绘图，需经有司查验，方可刊印。彼等既有技艺，或可令其校勘本地志书、协助丈量田亩、乃至讲解西洋算法，以观其用。 若果有实学，于地方有益，则稍示优容，以彰我朝怀柔远人之德；若包藏祸心，则立逐之。”
于是，在官方半监视、半利用的微妙态度下，利玛窦一行得以在肇庆留了下来。他们极有耐心，绝不主动提及“天主”，而是将全部精力投入到学汉语、研读儒家经典、结交当地文人雅士、展示西方科学与技艺之中。利玛窦甚至脱下黑袍，换上儒生的襕衫，以“西儒”自居。他的博学、谦和、以及对中华文化的真诚尊重（至少表面如此），逐渐打动了一些思想较为开明的地方士绅。他们开始与利玛窦往来，讨论学问，好奇地观看那些奇妙的仪器和地图，甚至有人开始跟随他学习拉丁文和欧几里得几何学。
知识，再次成为最有效的敲门砖。 但与林氏家族那种隐秘的、定向的“知识投放”不同，利玛窦带来的，是系统的、公开的、带着明确传教目的，但包裹在厚重学术外壳下的西方知识体系。这是一场自上而下（通过学术影响士大夫）与自下而上（通过奇巧吸引民众）结合的、更为堂皇正大的“文化渗透”。
然而，在利玛窦自己都未曾完全察觉的层面，另一股力量，正以更隐秘的方式，与他的“学术传教”事业发生着微妙的交织。
万历四年（1576年），利玛窦在肇庆“仙花寺”接待了一位特殊的访客。此人自称姓“陈”，来自福建泉州，是一位经营“南海珍奇”的商人，对“泰西奇器”颇有兴趣。交谈中，这位“陈商人”对利玛窦带来的星图、算术表现出了非同寻常的理解力，甚至能就地圆说的证明、行星运行轨迹的计算提出一些相当深入的问题，其思考角度，与利玛窦接触过的中国学者截然不同，更接近欧洲学术界的讨论方式。
“陈先生似乎对泰西之学，并非初涉？”利玛窦试探着问。
“陈商人”笑了笑，操着带有闽南口音的官话道：“不瞒神父，在下家族世代泛海，先祖曾随三宝太监（郑和）船队远航，家中留有些许海外见闻杂录。后与佛郎机、红毛番（荷兰）商人多有往来，耳濡目染，略知皮毛。然皆是支离破碎，不成体系。今日得见神父，方知西学之精深广大，竟至于斯！尤其是神父所言，以几何原本之公理，推演万
…。。