早在三、四千年前，我們的祖先便掌握了壓氣鼓風從事冶煉的技術，最早是由獸皮做成"皮老虎"；公元三十一年，東漢的杜詩創造了用水力鼓風的設備——水排；一直沿用到現在的木制"風箱"，可以說是現代活塞式壓縮機的雛形。
到1757年英國人威爾肯松（ Wilkinson ）提出的一個叫做"金屬風箱"的，它有兩個氣缸，由水輪機驅動。1777年瓦特（ Watt ）進一步設計了由蒸汽驅動的壓縮機。上述的機器都是單級的，主要也是用作冶煉鼓風。
1829年和1830年在英國和法國相繼提出了多級結構的壓縮機，但當時的多級壓縮機都無級間冷卻。多級壓縮機采用級間冷卻是1849年由馮·雷遜（ Von Rathen ）建議的。
活塞壓縮機作為一種工業設備是陸續進入各個領域的。
1834年，醫生潘根（ Perking ）發明了第一臺活塞制冷機，壓縮機進入人工制冷的領域，當時用的制冷劑是乙；而第一臺工業用的氨壓縮式制冷機，又經過40年后才由林德（ Linde ）創造出來。
1877年，宋梅婁（ Sommeiler ）發明了風鉆，開始了用壓縮空氣作為傳遞力能的介質，為壓縮機的應用開辟了廣寬的天地。
1877年，第一次通過壓縮、冷卻及膨脹實現了氧的液化；1892年，實現空氣的液化，從此為分離空氣獲得氧、氮及其他稀有氣體創造了條件。
1911年，第一套合成氨裝置投入生產，從此壓縮機進入化學工業的領域，并且是化工廠中極其重要的設備。
1939年，第一臺超高壓壓縮機問世，其排氣壓力為1500×105N/m2，用于高壓聚乙烯的生產。
可是在一個相當長的時期內，活塞式壓縮機的可靠性是與其重要性不相稱的。特別關鍵的是氣閥，因為它的可靠與否對機器有很大影響，為此人們對氣閥的制造和研究一直非常重視。早在1894年，賀爾碧格（ Hoerbiger ）制造了著名的賀爾碧格閥﹣﹣網狀閥。1950年柯史塔格略蘭（ Costagliola ）建立了氣閥運動的微分方程，盡管當時限于條件，實用尚困難，但卻為以后定量研究氣閥閥片運動的規律，打下了良好的基礎，現在許多的研究工作，都是在此基礎上發展起來的。
活塞式壓縮機中另一個被關注的問題是滑動密封。滑動密封問題包括兩個方面：其一是密封元件的耐久性——壽命；其二是密封元件因需用油潤滑而帶來的氣體被污染問題。對于前者是致力于研究摩擦、磨損和潤滑問題；而后者，人們卻又因此創造出了許多新型的、氣體不為油污染的壓縮機。
1916年，柯勃林（ Corblin ）發明了膜式壓縮機，并于1922年在他自己的工廠制造成功。這種壓縮機不僅氣體不被油污染，而且能做到不漏氣，一級壓縮達25×105 N /m2；但排氣量很小，一般不超過100m3/h。
1934年，采用有自潤滑性能的石墨作密封元件，實現了氣缸不用油潤滑；但石墨比較脆，石墨磨損后的粉塵也能污染氣體。
1935年，蘇爾壽（ Sulzer ）公研制成了利用曲折密封原理的迷宮式壓縮機，它去除了金屬密封元件，也實現了氣缸無油潤滑；但這種結構制造要求高，并且嚴重的泄漏使其熱效率較一般壓縮機低。
1952年，具有自潤滑性的塑料聚四氟乙烯開始用于壓縮機作密封元件。由于聚四氟乙烯經過適當改制后的巨大*性，因此很快得到了推廣，已成為現在實現氣缸無油潤滑的主要手段。
活塞式壓縮機在本世紀四十年代末到七十年代這幾十年中，隨著世界生產的發展，科學技術及工藝的進步，它也獲得了很大的發展和進步。在技術方面，它所取得的成果是：
1.現代壓縮機的可靠性和耐久性已大大提高，可以連續運行8000小時而中間無需修理，每年的開工率達95％以上；
2.由于采取了低的閥隙流速和大的緩沖容積，使壓縮機功率消耗進一步降低；
3．在中、大型范圍內，由于采用了對動式等動力平衡性能好的結構型式，使壓縮機轉速成倍的提高，從而使壓縮機的尺寸和重量相對大大減小。
4.在一定的壓力范圍內，氣缸能比較容易地實現無油潤滑，使被壓縮的氣體不再為油所污染。
近年來，在中、小型范圍內，壓縮機普遍實現機組化，撬裝化，使機器的安裝和基建費用都顯著降低。
隨著人們對環境噪聲污染的嚴格控制，努力使壓縮機噪聲限制在85dB( A )以下，在這面也取得了很大成績。
最近，優化設計理論取得了很大進展，并且已開始進入壓縮機的設計領域，它必將推動壓縮機向更新的水平前進。目前，150T活塞力4M型壓縮機，迷宮壓縮機，隔膜壓縮機，低溫乙烯及BOG壓縮機均已實現國產化。
