热电偶的结构有两种，普通型和铠装型。普通性热电偶一般由热电极，绝缘管，保护套管和接线盒等部分组成，而铠装型热电偶则是将热电偶丝，绝缘材料和金属保护套管三者组合装配后，经过拉伸加工而成的一种坚实的组合体。但是热电偶的电信号却需要一种特殊的导线来进行传递，这种导线我们称为补偿导线。不同的热电偶需要不同的补偿导线，其主要作用就是与热电偶连接，使热电偶的参比端远离电源，从而使参比端温度稳定。补偿导线又分为补偿型和延长型两种，延长导线的化学成分与被补偿的热电偶相同，但是实际中，延长型的导线也并不是用和热电偶相同材质的金属，一般采用和热电偶具有相同电子密度的导线代替。补偿导线的与热电偶的连线一般都是很明了，热电偶的正极连接补偿导线的红色线，而负极则连接剩下的颜色。一般的补偿导线的材质大部分都采用铜镍合金。

热电偶是两种不同的导体连接在一起形成的，当测量及参考连接点分别处于不同温度上时即产生出所谓的热电磁力（EMF）。连接点用途测量连接点是处于被测温度上的热电偶连接点部分。参考连接点则是保持在一已知温度上，或温度变化能自动补偿的热电偶连接点部分。

在常规工业应用中，热电偶元件一般端接在接头上；但参考连接点却很少位于接头上，而是利用适当的热电偶延伸线来转接到温度比较稳定的被控环境中。连接点类型接壳式热电偶连接点与探针壁物理连接（焊接），这能实现很好的热传输——即从外部通过探针壁将热量传至热电偶连接点。建议用接壳式热电偶来测量静态或流动腐蚀性气体与液体的温度，以及一些高压应用。