1763年，他受命修理格拉斯哥大学的一台纽可门蒸汽机，得以仔细研究纽可门机的结构。他发现纽可门机的热量浪费太大，每一次蒸汽进入汽缸后，为了得到真空都要用冷水冷却，下一次蒸汽先得将已经冷却的汽缸加热才能推动汽缸，使汽缸充满高温蒸汽。在这一冷一热的过程中，热量损失太大。虽然煤矿里有大量质量较低的煤可供纽可门机用，但是其他场合根本不可能使用这么消耗燃料的动力机。但是如何改变这一缺点呢？

1765年，瓦特终于想出了在汽缸之后再加一个冷凝器的主意。瓦特自述说：“那是一个晴朗的星期天下午，我出去散步。从察罗托街尽头的城门来到了草原，走过旧洗衣店。那时我正在继续考虑蒸汽机的事情。然后来到了牧人的茅舍，这时我突然想到因为蒸汽是具有弹性的物质，所以能够冲进真空中，如果把汽缸和排气的容器连接的话，那么蒸汽猛然冲入容器里，就可以在不使汽缸冷却的情况，使蒸汽在容器中凝结了吧！当这些在我的脑里考虑成熟的时候，我还没有走到高尔夫球场。”

冷凝器与汽缸之间用一个可调节阀门相连，高温蒸汽注入汽缸时阀门关上，做功后打开阀门，蒸汽则马上被引入冷凝器冷却，此冷凝器已事先用一台抽气机抽成真空，之后在冷凝器和汽缸内均形成真空。活塞在大气压力下作功，然后关上阀门，重新将冷凝器抽成真空，重复前一过程。瓦特于1769年造出了第一台原型机，并获得发明冷凝器的专利。在汽缸外加冷凝器后，蒸汽机的效率加倍地提高。但瓦特并不满足于此，他继续改进自己的蒸汽机。1781年，他改变了蒸汽机只能直线做功的状态，用一个齿轮装置将活塞的直线往复式运动转化为轮轴的旋转运动。1782年，他进一步设计出了双向汽缸，使蒸汽轮流从活塞的两端进入，使热效率又增加了一倍。经过进一步改进后的瓦特蒸汽机，成了效率显著、可用于一切动力机械的万能“原动机”。蒸汽机改变整个世界的时代正式到来了。

到1790年，瓦特机几乎全部取代了老式的纽可门机，瓦特因而受到尊崇。瓦特机的广泛利用使工业革命进入新的高潮，古老的人力、畜力和水力被蒸汽动力所代替，工厂不必再建在水流湍急的地方。纺织业、采矿业和冶金业在瓦特机的带动下迅速发展，而为了制造瓦特机又使机械制造业繁荣起来。瓦特后来又发明了离心调节器，它使输入的蒸汽不致太多或太少。蒸汽驱使一个调节杆转动，转得越快，调节杆上的两个金属球就相互飞离得越远，它使蒸汽出口变小，蒸汽输出减少后，调节杆转动就慢了，两个金属球就离得近了，它又使蒸汽出口变大。

1800年，瓦特被选入皇家学会，格拉斯哥大学授予他名誉博士学位。瓦特于1819年8月25日在伯明翰逝世。