mysql5.5 UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc8 in position 0: invalid continuation byte

[yy2000sh]

您好，准备恢复一个ibd文件，因为误删除，无备份，ibd文件中心还在。
运行 python main.py .\hr_staff_info.ibd --force
Traceback (most recent call last):
File "E:\tools\ibd2sql-ibd2sql-v1.x\main.py", line 178, in
aa = frm2sdi.MYSQLFRM(FRMFILENAME).get_sdi_page()
File "E:\tools\ibd2sql-ibd2sql-v1.x\ibd2sql\frm2sdi.py", line 132, in init
self._read_comment()
File "E:\tools\ibd2sql-ibd2sql-v1.x\ibd2sql\frm2sdi.py", line 270, in _read_comment
self.COMMENT = self.read(comment_size).decode()
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc8 in position 0: invalid continuation byte
PS E:\tools\ibd2sql-ibd2sql-v1.x> python main.py .\hr_staff_info.ibd
Traceback (most recent call last):
File "E:\tools\ibd2sql-ibd2sql-v1.x\main.py", line 178, in
aa = frm2sdi.MYSQLFRM(FRMFILENAME).get_sdi_page()
File "E:\tools\ibd2sql-ibd2sql-v1.x\ibd2sql\frm2sdi.py", line 132, in init
self._read_comment()
File "E:\tools\ibd2sql-ibd2sql-v1.x\ibd2sql\frm2sdi.py", line 270, in _read_comment
self.COMMENT = self.read(comment_size).decode()
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc8 in position 0: invalid continuation byte

尝试多种参数，都是这个错。
1.x的版本也试了，要么是这个错，要么就是row_format = compressed or its damaged or its mysql 5.7 file，能否帮忙看一下，谢谢。

[ddcw]

从报错看是解析表的注释的时候转码报错, 可能是编码问题. v2.x版本的解决方法有2个:

1. 编辑ibd2sql/frm/frm2sdi.py中第268行,将.decode()改为.hex() ,即不做转码了.
2. 在8.0环境创建同结构的空表, 解析的时候使用--sdi /mysql8/xxx.ibd 来指定使用新建的空表作为元数据信息.

也可以提供下相关表结构或者frm文件给我复现下.

[ddcw]

也可能是中文注释的原因, 低版本(5.5,5.6)的中文是存储的编码的编码. 所以得解码的解码, 即修改ibd2sql/frm/frm2sdi.py的268行,将 '.decode()'修改为.decode().encode('cp1252').decode()也行:

[yy2000sh]

几个方案都试过了，还是相同的报错，可能是表中有中文的注释吧。
是这样的结构:
CREATE TABLE TD_OA.Untitled (
STAFF_ID int(11) NOT NULL AUTO_INCREMENT COMMENT '自增字段',
CREATE_USER_ID varchar(254) CHARACTER SET gbk COLLATE gbk_chinese_ci NOT NULL COMMENT '创建人',
CREATE_DEPT_ID int(11) NOT NULL COMMENT '创建者部门编号',
USER_ID varchar(254) CHARACTER SET gbk COLLATE gbk_chinese_ci NOT NULL COMMENT '用户名',
DEPT_ID int(11) NOT NULL DEFAULT 0 COMMENT '部门',
STAFF_NO varchar(254) CHARACTER SET gbk COLLATE gbk_chinese_ci NOT NULL COMMENT '员工编号',
WORK_NO varchar(254) CHARACTER SET gbk COLLATE gbk_chinese_ci NOT NULL COMMENT '员工工号',
PHOTO_NAME varchar(254) CHARACTER SET gbk COLLATE gbk_chinese_ci NOT NULL COMMENT '照片文件名',
WORK_TYPE varchar(254) CHARACTER SET gbk COLLATE gbk_chinese_ci NOT NULL COMMENT '工种',
STAFF_NAME varchar(254) CHARACTER SET gbk COLLATE gbk_chinese_ci NOT NULL COMMENT '员工姓名',
STAFF_E_NAME varchar(254) CHARACTER SET gbk COLLATE gbk_chinese_ci NOT NULL COMMENT '英文名',
STAFF_CARD_NO varchar(254) CHARACTER SET gbk COLLATE gbk_chinese_ci NOT NULL COMMENT '身份证号码',
STAFF_SEX varchar(4) CHARACTER SET gbk COLLATE gbk_chinese_ci NOT NULL,
STAFF_BIRTH date NOT NULL DEFAULT '0000-00-00' COMMENT '出生日期'
/-- --/
PRIMARY KEY (STAFF_ID) USING BTREE,
UNIQUE INDEX USER_ID_2(USER_ID) USING BTREE,
INDEX USER_ID(USER_ID) USING BTREE,
INDEX STAFF_NO(STAFF_NO) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 5269 CHARACTER SET = gbk COLLATE = gbk_chinese_ci ROW_FORMAT = Compact;

[ddcw]

已复现,是frm解析有问题, 原因不明(估计是老版本的锅).

使用上述方案2是可行的, 需要注意的是ibd2sql会优先使用frm文件, 所以需要保证ibd文件所在目录下没得同名的frm文件(考走即可):

[yy2000sh]

感谢答复，使用这个命令可以看到表结构。然后加上--delete参数，仍出现decode错误了：
ibd2sql-ibd2sql-v2.x>python main.py hr_staff_info.ibd --sdi D:\wamp64\bin\mysql\mysql8.0.28\data\td_oa\untitled.ibd --delete
Traceback (most recent call last):
File "E:\Tools\ibd2sql-ibd2sql-v2.x\main.py", line 524, in
IBD2SQL_SINGLE(table,x,opt,filename_pre,log,parser,FRAGMENT_FILENAME_PRE)
File "E:\Tools\ibd2sql-ibd2sql-v2.x\ibd2sql\ibd2sql.py", line 454, in IBD2SQL_SINGLE
row += idx.get_sql(True)
File "E:\Tools\ibd2sql-ibd2sql-v2.x\ibd2sql\innodb_page\index.py", line 143, in _get_sql_single
for data in self.get_all_rows(deleted):
File "E:\Tools\ibd2sql-ibd2sql-v2.x\ibd2sql\innodb_page\index.py", line 175, in get_all_rows
row,pageid = self._read_row()
File "E:\Tools\ibd2sql-ibd2sql-v2.x\ibd2sql\innodb_page\index.py", line 401, in _read_row_pk_leaf
row.update(self._read_field(the_rest_of_field,null_list,size_list))
File "E:\Tools\ibd2sql-ibd2sql-v2.x\ibd2sql\innodb_page\index.py", line 445, in _read_field
data = col'decode'
File "E:\Tools\ibd2sql-ibd2sql-v2.x\ibd2sql\utils\b2data.py", line 239, in B2STR_gbk
return repr(data.decode('gbk'))
UnicodeDecodeError: 'gbk' codec can't decode byte 0xba in position 0: incomplete multibyte sequence

[ddcw]

1. 是否有其它数据正常解析出来呢, 可以不加--delete看下是否有正常数据解析出来(可以加上--limit 10限制输出行数)
2. 也可能是win环境的问题, 可以试下我的原数据里面有emoji表情字符，原表的字符集是utf8mb4，在生成insert语句的时候gbk编码报错 #33
3. 我这里没有复现出来, 即使有中文的情况下:

4. 可以确认下实际编码是否为gbk(或者创建同结构表换其它编码试下)
5. 都不行的话, 可以把frm和ibd发我邮箱: yangguisen1996@gmail.com