Merge branch 'master' of github.com:fastnlp/CPT

Author: yunfan

finetune/generation/README.md

@@ -1 +1,62 @@
 # Fine-tuning CPT for Text Generation
+
+## requirements
+
+transformers==4.4.2
+
+datasets==1.4.1
+
+## data sample
+
+adgen
+```
+{"article": "[[类型, 裤], [风格, 简约], [风格, 潮], [图案, 格子], [图案, 几何], [图案, 线条], [裤长, 七分裤], [裤型, 阔腿裤]]", "summarization": "这款阔腿裤，整体设计简约利落，时尚的阔腿款式带来鲜明的几何设计美感，褪去传统装束的厚重与臃肿，更具轻盈美感。 搭配七分裤长修饰出挺拔的腿部线条，气质的格纹图案不显单调，尽显女性优雅气质。 斜门襟设计潮流出众，让你时刻保持动人的女性风采。"}
+```
+
+lcsts
+```
+{"summarization": "可穿戴技术十大设计原则", "article": "本文总结了十个可穿戴产品的设计原则，而这些原则，同样也是笔者认为是这个行业最吸引人的地方：1.为人们解决重复性问题；2.从人开始，而不是从机器开始；3.要引起注意，但不要刻意；4.提升用户能力，而不是取代人"}
+```
+
+csl
+```
+{"summarization": "网络编码在实时战术数据多播中的应用", "article": "抽象了一种基于中心的战术应用场景与业务,并将网络编码技术应用于此类场景的实时数据多播业务中。在分析基于中心网络与Many-to-all业务模式特性的基础上,提出了仅在中心节点进行编码操作的传输策略以及相应的贪心算法。分析了网络编码多播策略的理论增益上界,仿真试验表明该贪心算法能够获得与理论相近的性能增益。最后的分析与仿真试验表明,在这种有中心网络的实时数据多播应用中,所提出的多播策略的实时性能要明显优于传统传输策略。"}
+```
+
+We put some data from the adgen dataset (10 train + 10 dev + 10 test) at the demo_data/adgen/ directory, which can be used to run a demo sample. 
+
+## run
+
+The code to run the demo sample:
+```
+python run_gen.py --model_path /path/to/checkpoint --dataset adgen --data_dir demo_data
+```
+then the training results as well as generation results will be listed at ./output/adgen/1/ .
+
+## evaluation
+
+We first use the BertTokenizer to process the predictions and labels into characters like follows:
+```
+王 旭 明 ： 现 在 的 语 文 课 至 少 有 一 半 不 该 学
+彭 博 社 ： 阿 里 巴 巴 或 将 估 值 低 于 分 析 师 预 期
+美 银 同 意 支 付 166 . 5 亿 美 元 和 解 mbs
+凡 客 为 保 盈 利 牺 牲 如 风 达 业 务
+人 大 代 表 ： 养 老 险 每 多 缴 1 年 养 老 金 应 多 发 5 %
+```
+
+After that we use [ROUGE](https://github.com/pltrdy/rouge) to evaluate the generation results. The training script use ROUGE to evaluate the model after each epoch. 
+
+To evaluate the generation results output by run_gen.py using [BLEU-4](https://github.com/TsinghuaAI/CPM-2-Finetune/blob/b37b07da4bf834c7a3b7e8188662df91eddb9b0a/generation_metrics.py#L89), you can change the variables in run_bleu.py and run it:
+```
+python run_bleu.py
+```
+The generated text will be processed into lists like follows:
+
+labels
+```
+[[['这', '款', '阔', '腿', '裤', '，', '整', '体', '设', '计', '简', '约', '利', '落', '，', '时', '尚', '的', '阔', '腿', '款', '式', '带', '来', '鲜', '明', '的', '几', '何', '设', '计', '美', '感', '，', '褪', '去', '传', '统', '装', '束', '的', '厚', '重', '与', '臃', '肿', '，', '更', '具', '轻', '盈', '美', '感', '。', '搭', '配', '七', '分', '裤', '长', '修', '饰', '出', '挺', '拔', '的', '腿', '部', '线', '条', '，', '气', '质', '的', '格', '纹', '图', '案', '不', '显', '单', '调', '，', '尽', '显', '女', '性', '优', '雅', '气', '质', '。', '斜', '门', '襟', '设', '计', '潮', '流', '出', '众', '，', '让', '你', '时', '刻', '保', '持', '动', '人', '的', '女', '性', '风', '采', '。']], [['这', '款', '充', '满', '甜', '美', '气', '息', '的', '针', '织', '衫', '，', '看', '似', '简', '单', '，', '但', '却', '充', '满', '了', '设', '计', '感', '。', '粗', '针', '的', '织', '法', '结', '合', '花', '纱', '，', '复', '古', '又', '不', '失', '时', '髦', '的', '感', '觉', '。', '饱', '满', '的', '颜', '色', '，', '散', '发', '着', '浓', '郁', '的', '浪', '漫', '气', '息', '，', '特', '别', '适', '合', '这', '个', '冬', '天', '过', '渡', '春', '天', '的', '季', '节', '，', '完', '全', '可', '以', '应', '付', '各', '种', '风', '格', '不', '同', '的', '日', '常', '穿', '搭', '。', '宽', '松', '的', '版', '型', '也', '让', '上', '身', '变', '得', '更', '加', '完', '美', '，', '修', '饰', '出', '好', '身', '材', '。']]]
+```
+preds
+```
+[['这', '款', '阔', '腿', '裤', '采', '用', '了', '七', '分', '裤', '的', '版', '型', '设', '计', '，', '能', '够', '很', '好', '的', '修', '饰', '腿', '部', '线', '条', '，', '让', '双', '腿', '看', '起', '来', '更', '加', '的', '笔', '直', '修', '长', '。', '格', '纹', '的', '图', '案', '设', '计', '简', '约', '大', '气', '，', '几', '何', '图', '案', '的', '设', '计', '时', '尚', '潮', '流', '。'], ['这', '款', '针', '织', '衫', '采', '用', '宽', '松', '的', '版', '型', '设', '计', '，', '搭', '配', '精', '致', '的', '剪', '裁', '，', '给', '身', '体', '更', '多', '的', '活', '动', '量', '，', '行', '动', '更', '为', '方', '便', '，', '穿', '着', '更', '为', '舒', '适', '。', '加', '上', '复', '古', '的', '提', '花', '图', '案', '点', '缀', '，', '更', '为', '整', '体', '增', '添', '了', '一', '丝', '甜', '美', '气', '息', '。']]
+```

finetune/generation/demo_data/SUMMARY.adgen/dev.json

@@ -0,0 +1 @@
+[{"article": "[[类型, 上衣], [材质, 牛仔布], [颜色, 白色], [风格, 简约], [图案, 刺绣], [衣样式, 外套], [衣款式, 破洞]]", "summarization": "简约而不简单的牛仔外套，白色的衣身十分百搭。 衣身多处有做旧破洞设计，打破单调乏味，增加一丝造型看点。 衣身后背处有趣味刺绣装饰，丰富层次感，彰显别样时尚。"}, {"article": "[[类型, 裙], [材质, 针织], [颜色, 纯色], [风格, 复古], [风格, 文艺], [风格, 简约], [图案, 格子], [图案, 纯色], [图案, 复古], [裙型, 背带裙], [裙长, 连衣裙], [裙领型, 半高领]]", "summarization": "这款BRAND针织两件套连衣裙，简约的纯色半高领针织上衣，修饰着颈部线，尽显优雅气质。 同时搭配叠穿起一条背带式的复古格纹裙，整体散发着一股怀旧的时髦魅力，很是文艺范。"}, {"article": "[[类型, 上衣], [风格, 嘻哈], [图案, 卡通], [图案, 印花], [图案, 撞色], [衣样式, 卫衣], [衣款式, 连帽]]", "summarization": "嘻哈玩转童年，随时闹翻天，没错，出街还是要靠卫衣来装酷哦！ 时尚个性的连帽设计，率性有范还防风保暖。 还有胸前撞色的卡通印花设计，靓丽抢眼更富有趣味性，加上前幅大容量又时尚美观的袋鼠兜，简直就是孩子耍帅装酷必备的利器。"}, {"article": "[[类型, 裤], [风格, 英伦], [风格, 简约]]", "summarization": "裤子是简约大方的版型设计，带来一种极简主义风格而且不乏舒适优雅感，是衣橱必不可少的一件百搭单品。 标志性的logo可以体现出一股子浓郁的英伦风情，轻而易举带来独一无二的猎奇体验。"}, {"article": "[[类型, 裙], [裙下摆, 弧形], [裙腰型, 高腰], [裙长, 半身裙], [裙款式, 不规则], [裙款式, 收腰]]", "summarization": "这款来自梵凯的半身裙富有十足的设计感，采用了别致的不规则设计，凸显出时尚前卫的格调，再搭配俏皮的高腰设计，收腰提臀的同时还勾勒出优美迷人的身材曲线，而且还帮你拉长腿部比例，释放出优雅娇俏的小女人味。 并且独特的弧形下摆还富有流畅的线条美，一颦一动间展现出灵动柔美的气质。"}, {"article": "[[类型, 上衣], [版型, 宽松], [版型, 显瘦], [图案, 线条], [衣样式, 衬衫], [衣袖型, 泡泡袖], [衣款式, 抽绳]]", "summarization": "这件衬衫的款式非常的宽松，利落的线条可以很好的隐藏身材上的小缺点，穿在身上有着很好的显瘦效果。 领口装饰了一个可爱的抽绳，漂亮的绳结展现出了十足的个性，配合时尚的泡泡袖型，尽显女性甜美可爱的气息。"}, {"article": "[[类型, 裙], [材质, 蕾丝], [风格, 宫廷], [图案, 刺绣], [图案, 蕾丝], [裙型, 大裙摆], [裙下摆, 花边], [裙袖型, 泡泡袖]]", "summarization": "宫廷风的甜美蕾丝设计，清醒的蕾丝拼缝处，刺绣定制的贝壳花边，增添了裙子的精致感觉。 超大的裙摆，加上精细的小花边设计，上身后既带着仙气撩人又很有女人味。 泡泡袖上的提花面料，在细节处增加了浪漫感，春日的仙女姐姐。 浪漫蕾丝布满整个裙身，美丽明艳，气质超仙。"}, {"article": "[[类型, 裤], [版型, 显瘦], [颜色, 黑色], [风格, 简约], [裤长, 九分裤]]", "summarization": "个性化的九分裤型，穿着在身上，能够从视觉上拉长你的身体比例，让你看起来更加的有范。 简约的黑色系列，极具时尚的韵味，充分凸显你专属的成熟韵味。 修身的立体廓形，为你塑造修长的曲线。"}, {"article": "[[类型, 裙], [版型, 显瘦], [风格, 文艺], [风格, 简约], [图案, 印花], [图案, 撞色], [裙下摆, 压褶], [裙长, 连衣裙], [裙领型, 圆领]]", "summarization": "文艺个性的印花连衣裙，藏青色底蕴，低调又大气，撞色太阳花分布整个裙身，绚丽而美好，带来时尚减龄的气质。 基础款的舒适圆领，简约不失大方，勾勒精致脸庞。 领后是一粒包布扣固定，穿脱十分方便。 前片立体的打褶设计，搭配后片压褶的做工，增添层次和空间感，显瘦又有型。"}, {"article": "[[类型, 裙], [颜色, 蓝色], [风格, 清新], [图案, 蝴蝶结]]", "summarization": "裙身处采用立体蝴蝶结装饰辅以蓝色条带点缀，令衣身造型饱满富有层次的同时为其注入一丝甜美气息。 将女孩清新娇俏的一面衬托而出。"}]

finetune/generation/demo_data/SUMMARY.adgen/test.json

@@ -0,0 +1 @@
+[{"article": "[[类型, 裤], [风格, 简约], [风格, 潮], [图案, 格子], [图案, 几何], [图案, 线条], [裤长, 七分裤], [裤型, 阔腿裤]]", "summarization": "这款阔腿裤，整体设计简约利落，时尚的阔腿款式带来鲜明的几何设计美感，褪去传统装束的厚重与臃肿，更具轻盈美感。 搭配七分裤长修饰出挺拔的腿部线条，气质的格纹图案不显单调，尽显女性优雅气质。 斜门襟设计潮流出众，让你时刻保持动人的女性风采。"}, {"article": "[[类型, 上衣], [版型, 宽松], [风格, 复古], [图案, 复古], [衣样式, 针织衫]]", "summarization": "这款充满甜美气息的针织衫，看似简单，但却充满了设计感。 粗针的织法结合花纱，复古又不失时髦的感觉。 饱满的颜色，散发着浓郁的浪漫气息，特别适合这个冬天过渡春天的季节，完全可以应付各种风格不同的日常穿搭。 宽松的版型也让上身变得更加完美，修饰出好身材。"}, {"article": "[[类型, 上衣], [版型, 宽松], [版型, 显瘦], [材质, 羊毛], [材质, 混纺], [风格, 淑女], [衣样式, 毛衣], [衣领型, v领], [衣领型, 一字领], [衣款式, 钉珠], [衣款式, 亮片]]", "summarization": "亮片钉珠v领毛衣精选优质细腻的羊毛与马海毛混纺面料，手感细腻春花，轻盈亲肤不紧绷，宽松的版型提升气质，显高显瘦。 精致的大v版型加上后背的一字领修饰，彰显整体唯美气质，淑女典雅。"}, {"article": "[[类型, 裤], [颜色, 绿色], [风格, 复古], [风格, 知性], [图案, 花色], [图案, 复古], [图案, 线条], [图案, 印花], [裤长, 长裤], [裤型, 阔腿裤]]", "summarization": "moss以偏绿色的基调打造的这款花色长裤，整体采用了垂坠感十足的雪纺纱质地，结合精美的大印花点缀，带来复古且知性的阔腿裤剪裁，是非常实穿的组合。 设计师为这款裤子做了长款的剪裁，一直盖住脚背，充分拉长了腿部的线条感。"}, {"article": "[[类型, 上衣], [版型, 宽松], [风格, 休闲], [图案, 撞色], [衣袖型, 落肩袖], [衣款式, 抽绳], [衣款式, 连帽]]", "summarization": "以落肩宽松轮廓勾勒连帽卫衣款式，经典设计尽展休闲气息，更具轻松活力。 撞色的抽绳设计加入水晶贴片点缀，抢占视野，时髦个性的魅力轻松演绎，以及抓绒保暖面料，让你倍感柔软温暖。"}, {"article": "[[类型, 上衣], [风格, 街头], [风格, 休闲], [图案, 撞色], [衣样式, 外套], [衣款式, 拼接], [衣款式, 罗纹]]", "summarization": "来自英氏的男童休闲外套，融入经典的拼接撞色元素，带着满满的时尚气息，非常吸睛夺目，轻松把宝宝打造成街头酷感十足的小王子哦。 罗纹束口的衣袖，能够自然紧密的贴合宝宝手腕，不留寒风侵入的空隙，带来温暖的穿衣体验哦。"}, {"article": "[[类型, 上衣], [版型, 宽松], [衣样式, 针织衫], [衣样式, 开衫], [衣款式, 连帽]]", "summarization": "这件开衫的针织衫取消前门襟的扣子，增添了一丝随性。 连帽款式的宽松版型有一定的厚度，非常适合春季穿着。 长款的开衫针织衫，设计搭配前片贴袋装饰，实用方便，挡风保暖效果也很好。"}, {"article": "[[类型, 裙], [颜色, 浅色], [颜色, 深色], [风格, 复古], [图案, 复古], [图案, 撞色], [裙下摆, 花边], [裙长, 连衣裙]]", "summarization": "采用撞色的搭配在时尚搭配上具有出色的亮点，同时这款连衣裙具有复古的风格，将多种元素完美搭配。 满足了女性对衣着的多方面需求同时深色与浅色碰撞的自然配色。 这款带来的灵动飘逸的独特效果。 袖口的花边设计耐看耐穿增加了衣身整体的立体效果。 突出了品牌对于时尚的不断追求。"}, {"article": "[[类型, 裤], [版型, 显瘦], [裤型, 直筒裤], [裤腰型, 高腰]]", "summarization": "高腰直筒裤的设计效果穿上身后能够起到显瘦藏肉的作用，将双腿更好的包裹让妹子们可以轻松驾驭穿出时髦潮范的美感。 腰带装饰自然垂坠，拉紧之后更有着修身作用，更为灵活的穿着效果轻松驾驭，让妹子们可以展现自身迷人的气质。"}, {"article": "[[类型, 裙], [版型, 显瘦], [颜色, 白色], [风格, 性感], [裙衣长, 短款], [裙领型, v领]]", "summarization": "这是相当性感的一款白衬衣，只做了白色一款色系，是很不挑人穿的。 整个版型比较的修身的，轻松的凹显你身材曲线，衬得格外的有魅力。 短款的裁剪给相当的格力，视觉上衬得你特别的高，显得你的身材比例很赞。 心机的是领口的大v领，凹显你性感的锁骨曲线，还衬得你的脸型比较的小。"}]