中国国家奥委会早在1922年就得到国际奥委会承认（王正廷成为中国首位国际奥委会委员）。新中国成立前，中国曾派运动员参加了1932年、1936年、1948年3届奥运会。
新中国成立后，中国首次派队参加了1952年在赫尔辛基举行的第十五届奥运会。因台湾问题，中国于1958年声明中断同国际奥委会关系。
1979年10月，国际奥委会执委会在名古屋通过决议，确认中国奥委会为“中国奥委会”，使用中华人民共和国国旗和国歌，同时规定设在台北的奥委会为“中国台北奥委会”，使用“不同于目前使用的旗、歌、徽”。1979年11月26日，国际奥委会以通讯表决方式正式批准这项决议，从而恢复了中国在国际奥林匹克运动中的合法权利。
中国从1980年起派队参加冬奥会，从1984年起参加夏季奥运会，并历史性地在洛杉矶1984年奥运会上实现金牌“零的突破”。
近年来，中国奥委会一直同国际奥委会保持良好关系。北京市于2008年成功举办了第二十九届夏季奥运会，南京市于2014年成功举办了第二届夏季青奥会。2015年7月31日，北京市联合河北张家口市成功获得2022年第二十四届冬奥会举办权。2022年2月4日至20日，北京冬奥会成功举行。
2013年11月19日，习近平主席会见国际奥委会主席巴赫并接受奥林匹克金质勋章。自2013年11月巴赫当选国际奥委会主席以来，习近平主席已多次同其会见、通话。2023年5月6日，国务院总理李强会见国际奥委会主席巴赫。2023年9月22日，习近平主席在杭州会见来华出席杭州亚运会的国际奥委会主席巴赫。
