OPEN MODEL · 方案二

打开 BioAnalyst，看清楚能改哪里。

依据论文 Figure 1 与 Appendix A 重绘 · Large ≈ 0.710B / Small ≈ 0.195B 公开权重规模

我的研究重点

改进内部模块，并探索更大的生态模型；准确性与稳定性待验证。

论文原有结构 + 我关注的内部模块

绿色为原有结构 · 红色可点击 · 窄屏可横向查看
BioAnalyst 编码器、潜在表示、Swin 主干、解码器及下游任务 两期多模态生态资料进入 Perceiver IO 编码器，产生生态潜在表示，经 3D Swin Transformer U-Net 主干演化后由 Perceiver IO 解码器还原下一期变量。红色 Attention heads、Transformer blocks 与任务输出头可点击查看研究方向。论文采用 VeRA 微调。 MULTIMODAL INPUTENCODER → LATENT DYNAMICS → DECODERDOWNSTREAM TASKS BioAnalyst · 预训练模型 过去两期x(t−1), x(t)大气 · 气候土壤 · 地表动物物种记录植被土地 · 农林红名单 · 其他对齐到同一时空网格 Perceiver IO 编码器分块 + 位置 / 时间 / 变量编码Cross-Attention → 统一表示 生态潜在表示 z(t) Perceiver IO 解码器目标变量查询 + Cross-Attention恢复物种与环境变量网格 预测潜在表示 z′(t+1) 3D Swin Transformer · U-Net下采样 → 多尺度处理 → 上采样 + 跳跃连接 Attention heads ↗ Transformer blocks ↗ 潜在空间中的演化由历史状态预测下一期 下一期生态状态物种 + 环境变量x̂(t+1) 多步滚动预测预测结果再作为后续输入论文：6 / 12 个月 + VeRA 微调 下游任务适配任务输出头 · Task head ↗例如：物种出现概率
重绘保留原论文主流程；红色模块为研究定位标注，尚未实现或验证提升。对照论文原图 ↗
候选改进

Attention heads · 注意力头

调整模型关注哪些生态信息，尝试提高预测准确性。

期刊论文 ↗ 开源代码 ↗ 预训练权重 ↗

约 0.7B 是生态专用架构的配置，论文未明确解释规模选择；不是当时没有更大的开源模型。论文 · 2024 年 Qwen 发布记录