刘巴是位高人，天下知名。当刘巴去世之后，魏国的尚书仆射陈群还专门写信给诸葛亮，打听刘巴的消息，称呼刘巴为“刘君子初”，语气非常尊敬。即便是东吴的孙权，也说：“若令子初随世沉浮，容悦玄德，交非其人，何足称为高士哉！”孙权称赞刘巴为高士，主要是指刘巴做了两件一般人都不会去做的事情。
当初，在曹操攻破襄阳之后，荆州士林震恐，大家纷纷选择了投靠刘备，唯独刘巴选择了北降曹操。在后来，曹操想派桓阶去招抚桂阳、长沙、零陵等荆州南部三郡，不过桓阶推辞说，刘巴比自己更合适执行这个任务。确实，刘巴在荆州已经待了将近二十年，多年来，刘巴先后担任曹史、主记、主簿等郡中重要职务，在荆州南部郡县中拥有崇高的个人威望。可是刘巴却很犹豫，觉得很难完成，刘巴说：“刘备据荆州，不可也。”在当时，曹操经历乌林大败，仓皇北归，周瑜大军更是穷追猛打，情势危急，但是荆州南部郡县却相对稳定。可是刘巴敏锐的发觉，盘踞在夏口一带的刘备必然会有所作为，趁乱攻袭荆州南部郡县。曹操听了刘巴的解释，并不在意，曹操说：“备如相图，吾以六军继之也。”只要刘备敢去攻打南部郡县，我曹操就派大军追着刘备的屁股打！可是，曹操没想到自己连续遭受大败，连早在掌握之中的南郡都落到周瑜的手中，完全是把刘巴给丢到虎狼堆中去了。
刘巴带着曹操的使命来到了零陵，可是招抚工作还没有正式开展，刘备的大军就已经到来。当时，诸葛亮曾经写信给刘巴，非常诚恳的说：“刘公雄才盖世，据有荆土，莫不归德，天人去就，已可知矣！”刘备在当时受到荆州士林的热烈欢迎，南部郡县几乎都是望风而降。毕竟刘备在荆州多年，广施恩义，并且刘备上表尊奉刘表大公子刘琦为荆州刺史，挟公子以令荆州，自然顺风顺水。可是刘巴竟然拒绝了诸葛亮的邀请，刘巴说：“受命而来，不成当还，此其宜也。足下何言耶。”既然是接受了曹公的委派，就算是任务不成功也应该回去复命，这本是合情合理的事情啊。刘巴又说：“若道穷数尽，将托命于沧海，不复顾荆州矣！”刘巴对刘备完全不考虑，就算是在完成不了自己的使命，那也宁愿选择漂流于江海，再也不会回到荆州。
刘备听说了这件事，对刘巴恨得咬牙切齿。那么，究竟是为什么，让刘巴这么看不起刘备？在汉代末年，有两大神童，一个是曹操的儿子曹冲，一个是荆州的周不疑。周不疑在荆州之乱后被曹操逮住了，当时只有十三岁，可是曹操第一次见面就非常吃惊，甚至想把自己的女儿嫁给周不疑以笼络其心，可是被周不疑拒绝。之后，周不疑一直和曹冲在一起，关系很融洽。可不久之后曹冲死了，曹操就下令把周不疑给杀了。当时，曹丕曾经劝阻曹操，曹操说，如果是你弟弟曹冲在世的话还罢了，想周不疑这样的人不是你曹丕能够驾驭的。小小年纪的周不疑竟然让奸雄曹操如此担心，可见才华何等了得。
而周不疑是荆州别驾刘先的外甥，也是刘备的亲戚。当初刘备曾经写信给刘巴，希望由刘巴来担任小神童周不疑的老师，本来“得天下英才而教之”是很多文人的心愿，何况这份聘书是身为皇叔的左将军刘备发出的。可刘巴竟然拒绝了！刘巴先是谦虚的说自己“昔游荆北，时涉师门，记问之学，不足纪名”，自己才华浅薄，不堪此任。然后刘巴说“内无杨硃守静之术，外无墨翟务时之风，犹天之南箕，虚而不用”，刘巴自比为天上的南斗星，但是却觉得自己是“虚而不用”，当老师并非是刘巴的理想职业。刘巴是一个很有抱负，有志于天下的人，可是将近二十年却委屈在荆州南部的零陵郡，为什么呢？仔细品味“内无杨硃守静之术，外无墨翟务时之风”，是说自己在内不能像杨朱一样韬光养晦，在外又没有像墨翟一样务求实际的本领，其实细细品味，这两句都是在嘲讽刘备。刘备此人，处处标榜自己是大汉宗室，为了复兴大汉而辗转奔波，为了拯救黎民百姓于水火而征战四方，可刘巴看透了刘备，暗示刘备不过是以仁德，以爱民为手段，谋取自己的利益而已，而这些，都是刘巴不屑去做的。
于是，刘巴抛弃了伪君子刘备，而选择了代表朝廷的真小人曹操。于是，收复荆州南部三郡任务失败之后，刘巴远走交趾避祸，之后又逃到了云南，差点被杀，漂泊流离终于来到了益州。当初，刘璋的父亲曾经得到刘巴父亲的举荐，于是刘璋看到刘巴来投非常高兴。刘巴本来是想借到回到曹操身边，可是看到刘璋也有心归附曹操，于是就留下来做刘璋的工作。如果能够成功的说服刘璋，那也算是失之东隅收之桑榆，完成了当初接受的使命。可没想到刘璋派遣张松前往许都，张松因为自己受到冷落而选择了归顺刘备，帮助刘备夺取益州。在张松、法正等人的劝说下，刘璋邀请刘备前来帮助平定张鲁。当时，刘巴曾经明确的表示反对，他说：“刘备，雄人也。入必为害，不可内也。”刘巴料定刘备进入川中，必然夺取刘璋的地盘。
刘巴对刘备这个伪君子看得很透彻，刘备正是假借帮助同为汉室宗亲的刘璋，平定张鲁而进入川中，然后夺得益州的。