“阳明小洞天”的闲适生活并不曾持续太久，因为僮仆们的家常智慧到底击败了王守仁的自然科学理论：古洞里哪有什么阳气聚积，实在比洞外的世界阴湿难耐太多。没奈何，最后还是要伐木筑屋，任市井小民的现实主义压倒迁客骚人的浪漫情怀。
幸而在这段日子里，当地的少数民族和王守仁渐渐亲近起来。人类历史上，不同文明之间总会充满敌意，这种敌意其实来自生物本能当中的对陌生人的恐惧，而行之有效的消除敌意与恐惧的药方，正如社会学家一再论述且证明给我们的，无非是接触与沟通。在由生转熟之后，我们往往会发现原本被我们视之如魔鬼、畏之如蛇蝎、斥之为蛮夷的陌生者其实只是一些遵循着另样生活习惯的我们自己。一言以蔽之，多怪缘于少见，宽容缘于识广。
得了土著的援手，王守仁于近旁之龙冈“大兴土木”，建成龙冈书院、宾阳堂、何陋轩、君子亭、玩易窝，终于“完满”解决了安居问题。当然，这些房舍并不会因为有了漂亮的名号就改变了粗陋的本质，但漂亮的名号从来都最能够体现主人的心态。
文人之例，每有建筑，必有名目；每有名目，必有诗文。既有何陋轩，则必有《何陋轩记》：
昔孔子欲居九夷，人以为陋。孔子曰：“君子居之，何陋之有？”守仁以罪谪龙场。龙场，古夷蔡之外，于今为要绥，而习类尚因其故。人皆以予自上国往，将陋其地，弗能居也。而予处之旬月，安而乐之，求其所谓甚陋者而莫得。独其结题鸟言，山栖羝服，无轩裳宫室之观、文仪揖让之缛，然此犹淳庞质素之遗焉。盖古之时，法制未备，则有然矣，不得以为陋也。夫爱憎面背，乱白黝丹，浚奸穷黠，外良而中螫，诸夏盖不免焉。若是而彬郁其容，宋甫鲁掖，折旋矩矱，将无为陋乎？夷之人乃不能此。其好言恶詈，直情率遂，则有矣。世徒以其言辞物采之眇而陋之，吾不谓然也。始予至，无室以止，居于丛棘之间，则郁也。迁于东峰，就石穴而居之，又阴以湿。龙场之民，老稚日来视，予喜不予陋，益予比。予尝圃于丛棘之右，民谓予之乐之也，相与伐木阁之材，就其地为轩以居予。予因而翳之以桧竹，莳之以卉药；列堂阶，辩室奥；琴编图史，讲诵游适之道略俱。学士之来游者，亦稍稍而集于是。人之及吾轩者，若观于通都焉，而予亦忘予之居夷也。因名之曰“何陋”，以信孔子之言。
嗟夫！诸夏之盛，其典章礼乐，历圣修而传之，夷不能有也，则谓之陋固宜。于后蔑道德而专法令，搜抉钩絷之术穷，而狡匿谲诈，无所不至，浑朴尽矣。夷之民方若未琢之璞，未绳之木，虽粗砺顽梗，而椎斧尚有施也，安可以陋之？斯孔子所谓欲居也欤？虽然，典章文物则亦胡可以无讲！今夷之俗，崇巫而事鬼，渎礼而任情，不中不节，卒未免于陋之名，则亦不讲于是耳。然此无损于其质也。诚有君子而居焉，其化之也盖易。而予非其人也，记之以俟来者。
文章首先点题，轩名出自孔子“君子居之，何陋之有”一语，这便点明地理环境从来不是陋或不陋的标准，即便地处蛮荒，只要君子居之，以君子之行行之，自然就变成文明开化的所在。
当然，这只是古代小规模的熟人社会的规则，倘若今天的地产开发商打着这样的名目售卖粗制滥造的“豪宅”，恐怕没有消费者会买账。
王守仁继续议论说，当地土著只是质朴罢了，设若以诸夏之礼乐作为文明的标准，说他们“陋”倒也没错。诸夏虽然有着绚烂的文明，但抛弃道德而专主法令，狡匿谲诈无所不至，反而不如土著的木讷无文，那么“陋”的究竟是谁，倒真不好轻下断语了。
当我们将《何陋轩记》读到这里，一定会认为王守仁转向了庄子，赞美天民，厌弃文明，这与他的人生经历倒也合拍。但王守仁毕竟在儒家的阵营里，文章在结尾处有了合理的转折：浑金璞玉式的生活虽然不坏，典章礼乐却必须推广。如今这里的风俗崇巫而事鬼，渎礼而任情，感情的表露毫无节制，这终于还是“陋”的。倘若有君子住在这里，移风易俗应该倒也不难，只可惜自己还不够格，还是期待来者好了。
当然，最后期待来者云云只是老生常谈，王守仁事实上当仁不让地承担起了教化土著的事业。在今天最严苛的文化保护论者眼里，这实在有文化侵略的嫌疑。但儒家的教化如《礼记·曲礼》所谓“礼闻来学，不闻往教”，只是一种以身作则、春风化雨式的做派，绝无半分强硬态度。而王守仁人格魅力所致，很快便赢得了龙场土著的好感，而游学之人亦会远道来此，荒蛮僻陋的所在竟然也生出几分通都大邑的感觉了。