贬官的旅途倒不急迫，这算是唯一的好处了。
正德三年（1508年），王守仁抵达了龙场驿这个新的任所。
其实自武夷山之后，他的行程究竟如何，今天已经很难考证。无论如何，总是一番栈石星饭，总是一番结荷水宿，原本的似锦前程在身后越抛越远，这位年已三十七岁的中央官员终于以驿站管理员的身份在崇山峻岭中成功就任。虽然他早已经对龙场驿做了最坏的预想，但他发现自己的预想还是过于乐观了。
古代的集权政府要想使政令在一个庞大的帝国里行之有效，必须建立起一个庞大的交通网络。交通网络上的节点便是驿站，往来官吏可以在这里歇宿，传递公文的差役可以在这里换马。
明代极重驿站建设，一来是便于中央集权式的管理，二来可以吸纳大量的闲散劳力，免得他们变成四处生事的流民。驿站的建设既然有无远弗届的必要，注定会有一些驿站设置在人迹罕至的蛮荒之地，到这种地方任职简直形同流放。
龙场驿更属于荒蛮中的极品：论地理环境，处于贵州西北万山从棘之中；论生态环境，有毒蛇环伺，瘴疠漫山；论人文环境，能接触到的除了语言不通的少数民族，就是从中原逃窜过来的亡命之徒。让一个自幼在文明社会里长大的人来这里适应原始生活，实在残忍得令人发指。
龙场驿的建制，只有驿丞一名、马二十三匹、卧具二十三副，但洪武年间的建制到了正德年间也只是徒有虚名罢了，此时的驿站几乎与废墟无异。周边左近虽幸而不是荒无人烟的地方，但寥寥的一些人烟尽过着近乎原始的生活，甚至连房舍都没有。
文明人初入蛮荒，人文知识一概没了用场，原本不甚要紧的简单技术反而成为第一要务：王守仁开始和僮仆一道搞起了范土架木的安居工程——今天我们在一些偏远乡村仍然能见到这一类古老的住宅样本，夯土筑墙，木龙骨的屋顶框架，茅草铺设的屋顶。来自文明社会的一点点最粗浅的技术，便足以在蛮荒之地创造生活品质的飞跃，毕竟茅舍和豪宅的差异远不如有房和无房的差异。这一番凄苦境遇写入《初至龙场无所止结草庵居之》诗中之后，看起来竟然也有几分诗意：
草庵不及肩，旅倦体方适。
开棘自成篱，土阶漫无级；
迎风亦萧疏，漏雨易补缉。
灵濑响朝湍，深林凝暮色。
群獠环聚讯，语庞意颇质。
鹿豕且同游，兹类犹人属。
污樽映瓦豆，尽醉不知夕。
缅怀黄唐化，略称茅茨迹。
艰险的环境被诗句形容为黄帝与尧舜时期的质朴世界，那是儒家高度推崇、道家绝对推崇的遥远而美好的黄金时代。陶渊明自命为“羲皇上人”（意即伏羲时代的先民），此时的王守仁倒真可以冠上这个头衔。
当然，这一切都只是苦中作乐、强颜欢笑罢了。诗句里虽能自嘲，心里却未必真放得下。每念及北京的政坛，只觉得在刘瑾专权下一切已不可为；每念及南京的老父，又伤悼自己不是自由身，没办法回家尽孝，于是“南归断舟楫，北望多风埃”（《采蕨》），只是进退失据。有时会想到远方的湛若水，不禁又生起天地悬隔、孤独无侶的叹息，只有在无可奈何中酝酿着“如何两分植，憔悴叹西东”（《猗猗》）的伤感。
当理性终于占了上风，情绪渐渐沉淀之后，此时的王守仁自问得失荣辱皆能超脱，唯有生死一念仍然在心底纠缠。毕竟贪生怕死是一切生物最核心的本能，面对死亡威胁时的恐惧实在是再正常不过的感受。为了克服心底这最后一点的软弱，王守仁暗暗立誓“吾惟俟命而已”，每日每夜在一只石墩上打坐入静，一段时间之后，一颗心终于止水不波。
所谓“俟命”，语出《中庸》“君子居易以俟命，小人行险以徼幸”，意即君子是本着原则行事，有一贯的操守，会选择安稳妥当的生存方式，做好自己的本分，至于穷通贫富，则听天由命；小人是奔着明确的功利目的行事的，宁可冒险来贪图侥幸的成功。
儒家看待人生，明确区分出何为人事、何为天命。你做不做一个好人，这属于人事，是你自己完全可控的。倘若你偏偏要去为恶，或者懦弱地向邪恶妥协，这怨不得旁人，只怪你自己事理不明、意志不坚。但你做了一辈子好人，也许有福禄寿考、妻荣子贵，也许从来得不到好报，一生经历坎坷偃蹇，这都属于天命，不是你个人可以把控的。做好人并不一定会得到好报，做好人也不应该是为了得到好报，无论境况是好是坏，你都应该做一个好人。换言之，你所能够把控的事情就是尽力去做一个好人，至于你得到的是善报还是恶报，这由不得你，也不是你应该关心的。
必须承认这是一种非常苛刻的道德要求，幸而古人开明，只要求君子，不要求小人，即只要求士大夫，不要求老百姓。
小人的生存法则是功利主义，只有确切知道善有善报的时候，他们才会积极行善；君子相反，但行好事，莫问前程。但毕竟说来容易做来难，正如《旧约·约伯记》为我们展现的那样，约伯，一个极度虔诚、只晓得敬信上帝的义人，当财产、亲人、健康被一一剥夺之后，终于忍不住发生了动摇，而《约伯记》也因此成为历代神学家们聚讼纷纭的焦点，激发各式各样的神学理论。
王守仁于此时此地恰恰酷似陷入了约伯的处境，内心的坚守其实已经非常接近崩溃的边缘，所以当务之急必须找出一个强大的能让自己真正信服的理论来支撑自己的意志，使自己对一切所烦恼的、所忧惧的都能释然。古圣先贤虽然给出了答案，但这些答案只要还有半分停留在书本上，停留在理性思辨的阶段，而不曾成为自己发诸内心的呐喊的话，纠结的情绪便永远不会得到彻底的释放。
这正如今天大多数人已经能够从理性上接受关于死亡的生物学意义上的知识，但真到生死关头还是不免会产生恐惧。所以阳明心学总是强调学问须在“事上磨炼”——以今天的概念来约略表述的话，这就是要人在实践中将思辨获得的理性知识转化为不假思索的情绪反应。