最近在重构Airflow中大量的DAG，其中最主要的目的是添加DAG Validation的测试。Airflow中有现成的dagbag.import_errors(),但是最大的问题时dag中有大量的Variable.get(),每次解析dag代码的时候，它都会连接数据库，显然不符合unit test的原则。

所以不得不移除代码中的Variable.get()，也就是Airflow文档中的所说的top level code。可以使用{{ var.value.xxx }}，前提是Operator中的template_fields中支持

有几个难点无法直接用

• 对于DAG factory，如果使用了Variable.get()，则直接替换成{{ var.value.xxx }}
• 有的Operator，template_field不支持{{ var.value.xxx }}

解决方案：

• 使用Environment Variable来替换Variable.get()

反思： Variable.get()的最大优点是可以让用户直接通过UI来变更一些参数来灵活的改变DAG的行为，但是现实中大量的用户直接把secret之类的 数据也往Variable里边加，造成了一定的泄露风险。

平台团队应该

• CI 中加入措施来防止top level代码中出现Variable.get
• 提供更好的access control来防止用户滥用Variable