背景

动手学深度学习pytorch:2.2.2处理缺失值报错

1
2
3
inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
inputs = inputs.fillna(inputs.mean())
print(inputs)

报错如下

1
TypeError: can only concatenate str (not "int") to str

解决方案

我们看出报错是因为第二列数据是字符串不是数字,修改代码即可。

1
2
3
inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
inputs = inputs.fillna(inputs.select_dtypes(include='number').mean())
print(inputs)

成功输出

1
2
3
4
5
   NumRooms Alley
0 3.0 Pave
1 2.0 NaN
2 4.0 NaN
3 3.0 NaN

接着报错

1
2
inputs = pd.get_dummies(inputs, dummy_na=True)
print(inputs)

输出

1
2
3
4
5
   NumRooms  Alley_Pave  Alley_nan
0 3.0 True False
1 2.0 False True
2 4.0 False True
3 3.0 False True

并不是教程中的0和1,而是布尔值。
这会引起后续转成张量的报错

1
TypeError: can't convert np.ndarray of type numpy.object_. The only supported types are: float64, float32, float16, complex64, complex128, int64, int32, int16, int8, uint8, and bool.

原因

get_dummies函数在pandas1.6.0版本之前返回numpy.uint8,无符号八位整数。

在1.6.0版本开始更改为返回numpy.bool_,numpy布尔值。

解决方案

添加dtype,完成输出0和1,且后续不报错

1
2
inputs = pd.get_dummies(inputs, dummy_na=True, dtype = 'uint8')
print(inputs)