在《我者與他者》，許倬雲從史前年代講到國共兩黨，其筆下的中國歷史，正正不只是一個主權國家的歷史而已。相反，兩千多年來，不僅政權不斷更替，版圖伸縮不定，文化系統也絕非只有獨步單方，而是不斷變化的多元綜合體，在歷史長河中，由不同文化體系互相影響、互相激盪而逐步形成。因此，從許倬雲看，中國作為民族也好，國族也好，甚至文化單元也好，都在不斷演變。以單一文化、單一政權作為中國民族主義的全部內容，只能是以偏概全，不盡不實。
歷史面貌從來變化多端，局面也錯綜複雜，但作為歷史學家的許倬雲卻精於化繁為簡，以“我者”和“他者”為分析框架，尋找歷史發展的走向和規範。其實“我者”、“他者”是對立的一對觀念，在不同領域有不同的內容。政治上，這對觀念指的是中國與其他國家之間的“內外”關係，也可指中央與地方的關係，以至核心跟邊陲的關係。文化上，“我者”和“他者”分別代表正統或者官方的價值體系和其他國內國外的挑戰者；經濟上，“我者”、“他者”亦可指稱不同地域的經濟網絡和運作模式。
許倬雲觀察歷史的線索，就是從政治、文化、經濟三大體系之中，一面留意每方面的“我者”和“他者”如何互動，一面分析正在轉變的三大體系如何互相影響，又如何改變甚至扭轉個別政權、思想流派或者經濟模式的發展路向。例如滿清的衰敗，根據作者的分析，除了由於政治腐敗，也跟文化和經濟系統的不濟相關。
文化方面，清代的考證訓詁取代宋明理學，遏止了沒完沒了的論爭，卻無法滿足大家對價值的探求。正統文化正步向僵化，有識之士只有另尋出路，或則重新演繹舊經典以求文化革新，或則引入西學以改變腦袋。經濟方面，英國通過販賣鴉片，馬上令中國對外貿易由順差轉為逆差，而外來商品既使農村手工業衰微，也大大加強對外通商港口和城鎮的經濟角色，逐步改變過往以農村為本的中國經濟，也切斷了農村跟城鎮一脈相連的關係。從文化到經濟，“我者”“他者”此消彼長，中國亦由文化自愛自尊、生活自給自足的獨立國家，走向思想失落、經濟倚賴的落後地帶。
上世紀國共鬥爭的成敗亦可從同樣角度分析。許倬雲認為，蔣介石政府的失敗，全因為他沒有好好處理“我者”與“他者”的關係。政治上，國民黨建設了中央政府，卻不去鞏固地方政權；文化上，執政者器重文化精英，卻忽視草根階層，尤其是農民；發展上，國民黨注重城巿經濟，卻忽略農村和農業。最後令農村和農民由中國的“我者”變成“他者”－國民黨政權的對立面，也就讓共產黨有機可乘，以鄉村包圍城巿的策略，把國民黨趕下台。
把眼光引向當下，許倬雲關注“我者”與“他者”的對立和衝突，或會阻礙個別地區族群以至全球政治走向融和，亦導致價值取向爭擾不休，互相碰撞。在他心目中，國家強弱的關鍵不是一時一地的經濟和軍事實力，而是能否讓不同領域的“我者”和“他者”良性互動，和衷共濟，彼此包容，互相調適，使國家與時俱進以應付時局，克服挑戰，從而走向長治久安。