tacos

Transformer components


License
MIT
Install
pip install tacos==0.0.0

Documentation

Transformer Components(tacos)

动机

现在有各种attention/transformer,但是由于实现细节不同,许多方法未必有效,本仓库的目的就是在严格控制变量的情况下测试各种attention的性能,测试任务初步定为:

  • 单向语言模型ALM,例如GPT;
  • 双向语言模型BLM,例如Bert/RoBerta;
  • 视觉分类模型,例如Vit;

更新日志

  • 2022/6/4: 初始化仓库,实现Vanilla Transformer;

删除需要手动删除egg-info。

规划

  • 2022/6/6 ~ 2022/6/12: 确定传参方案, 迁移fairseq data preprocess, 跑通lm

To DO

  • 完成英文版readme。

参考资料