强化学习

Minecraft 工业2 实验版核反应堆计算 强化学习模块训练路径 最近在玩Minecraft IC2 Classic，但是对于摆核反应堆总是感觉不是很得心应手，不管怎么摆效率都很低，为了解决这个问题，所以我写了一个强化学习的模块，让神经网络自己去学习如何摆弄这个网络。 不过看了下，IC2 Classic 的核反应堆因为似乎不涉及中子流，所以任务是比较简单的，为了节目效果，我准备研究一下IC2 experiment版的核电站，这个玩起来更有趣，学习的深度也更深。 任务简单分为三步： 明确任务目标和行为 搭建网络 训练 一、任务目标和行为指南 这一步往往是比较重要的，因为这一步决定了AI到底要学什么，以及怎么学。 1.1 问题定义 IC2E的核反应堆设计本质上是一个组合优化问题。你有一个9×6的网格，54个位置，每个位置可以放18种不同的组件（包括空槽位）。理论上有18^54种可能的配置，这个数字大到宇宙中的原子都数不过来。 但问题是，这些配置里99.99%都是垃圾——要么发电量低得可怜，要么直接爆炸。我们要找的是那0.01%既能高效发电，又不会炸的设计。 1.2 核反应堆的物理机制 在开始训练之前，得先搞清楚IC2E核反应堆到底是怎么工作的。不然AI学出来的东西可能完全不符合物理规律。 核脉冲机制： 燃料棒工作时会向四周发射核脉冲 相邻的燃料棒接收到核脉冲后，发电量会成倍增加 中子反射板可以把核脉冲反射回去，相当于"虚拟"的燃料棒 举个例子，一个单铀棒（U）： 单独放置：发电5 EU/t 旁边有1个燃料棒：发电10 EU/t 旁边有2个燃料棒：发电15 EU/t 旁边有4个燃料棒：发电25 EU/t 所以燃料棒越密集，发电效率越高。但问题来了—— 热量产生机制： 燃料棒产生的热量跟相邻的燃料棒/反射板数量有关，公式是： 热量 = 倍数 × (n+1) × (n+2) 其中n是相邻的燃料棒或反射板数量（0-4）。 这个公式很狠，是二次增长的。比如单铀棒（倍数=2）： n=0（孤立）：2×1×2 = 4 HU/tick n=1（1个邻居）：2×2×3 = 12 HU/tick n=2（2个邻居）：2×3×4 = 24 HU/tick n=4（4个邻居）：2×5×6 = 60 HU/tick 看到没？发电量是线性增长（5→25），但热量是二次增长（4→60）。这就是核反应堆设计的核心矛盾：你想要高功率，就得承受高热量。 散热系统： 热量如果散不出去，反应堆温度就会一路飙升，到10000 HU就爆炸。所以必须有足够的散热系统： 散热片（H）：自身散热6 HU/tick 反应堆散热片（R）：从堆温吸热5 HU/tick，然后自己散热5 HU/tick 高级散热片（A）：自身散热12 HU/tick 超频散热片（O）：自身散热20 HU/tick 还有热交换器，可以在组件之间转移热量，把热量从燃料棒转移到散热片上。 ...